Upload
dinhduong
View
213
Download
0
Embed Size (px)
Citation preview
UNE CRC ÉQUITABLE PERSPECTIVES
Réjean Drolet, Richard Guay et Martin Riopel
Plan
PASSÉ
■ Un bref historique
■ Des hypothèses implicites mal connues
PRÉSENT
■ Une nouvelle proposition théorique
■ Des confirmations empiriques
FUTUR
■ Le rendement minimal associé à la réussite des cours
■ Mesure des apprentissages à long terme?
■ Évaluation de compétence pragmatique?
Juin 2018 Une CRC équitable - Perspectives 2
PASSÉ
Un bref historique*
■ Automne 1977 – Implantation de la Cote Z (sans IFG)
■ Automne 1996 – Implantation de la CRC (avec IFG)
■ Hiver 2005 – Pondération des échecs (0,25 ou 0,5)
■ Automne 2007 – Ajout des cours d’éducation physique
■ Automne 2009 – IFG base sur les matières obligatoires
■ Automne 2009 – CRC par programme
4
*Source: Site du Bureau de coopération interuniversitaire (BCI) , 2017
Juin 2018 Une CRC équitable - Perspectives
Un bref historique (tiré de BCI, 2017)
■ 2009 a 2011 – Interrogations soulevées suite à l’implantation de la réforme au
secondaire à partir de 2005
■ 2011 – Mandat donné par le Comité de liaison de l’enseignement supérieur (CLES)
au Comité de gestion du bulletin des études collégiales (CGBEC) pour travailler sur « certaines problématiques reliées aux paramètres actuels servant à établir la cote R »
■ 2014 – Rapport du CGBEC suite au mandat de 2011
■ Automne 2017 – Implantation de la nouvelle CRC (avec IFGZ et IDGZ) rétroactive à
l’automne 2014
5 Juin 2018 Une CRC équitable - Perspectives
Des hypothèses mal connues
■ Depuis ses débuts, dans les différents calculs utilisés pour la CRC, la seule variable
qui est associée directement à la note de l’étudiant est la cote Z
■ La cote R est une cote Z corrigée par les caractéristiques du groupe.
■ Elle correspond à une transformation linéaire qui fait en sorte que plusieurs effets
linéaires importants liés aux professeurs et aux étudiants disparaissent
complètement du calcul
■ En voici quelques exemples…
6 Juin 2018 Une CRC équitable - Perspectives
Si les groupes sont équivalents au début et à la fin du trimestre…
7 Juin 2018 Une CRC équitable - Perspectives
Un prof est plus exigeant qu’un autre
8
50
60
70
80
90
100
Étudiant 1 Étudiant 2 Étudiant 3
Professeur 1 Professeur 2
Juin 2018 Une CRC équitable - Perspectives
Un prof est plus discriminant qu’un autre
9
50
60
70
80
90
100
Étudiant 1 Étudiant 2 Étudiant 3
Professeur 1 Professeur 2
Juin 2018 Une CRC équitable - Perspectives
Un prof est à la fois plus exigeant et plus discriminant
10
50
60
70
80
90
100
Étudiant 1 Étudiant 2 Étudiant 3
Professeur 1 Professeur 2
Juin 2018 Une CRC équitable - Perspectives
L’ancienne cote R
Zcor = (Cote Z + IFG)
■ La force des groupes mesurée par des notes au secondaire est prise en compte pour corriger la cote Z.
CRC = (Zcor+ 5) x 5
■ Les nombres 5 dans la formule font en sorte que la CRC soit positive et varie entre 0 et 50 (échelle théorique)
■ Normalement, 95 % des CRC se situent entre 20 et 34 (moyenne aux alentours de 27)
Cote Z = (note – moyenne) / ecart-type
■ Par convention, limitée à l’intervalle de -3 à 3
■ Ramène sur une même échelle les évaluations faites par les professeurs tout en respectant les classements : en conséquence, elle élimine toutes les différences initiales entre les groupes au collégial
IFG = (Mgr – 75) / 14
■ Mgr correspond a la moyenne des notes obtenues en 4e et 5e secondaire des étudiants faisant partie du groupe
■ Ajoute a la cote Z une correction qui tient compte de la force du groupe : plus un groupe est composé d’élèves forts, plus la cote Z de chacun des étudiants de ce groupe sera corrigée a la hausse et inversement
Octobre 2017 La nouvelle CRC - Martin Riopel 11 Juin 2018 Une CRC équitable - Perspectives
Observations empiriques
■ Les notes écoles au secondaire sont biaisées (sur cotation ou sous cotation selon les écoles)
■ Pris dans leur ensemble, les étudiants du programme Sciences de la nature avaient une CRC plus élevée en formation générale qu’en formation spécifique.
■ Pris dans leur ensemble, les étudiants du programme Sciences humaines avaient une CRC moins élevée en formation générale qu’en formation spécifique.
■ C’est en éducation physique que les étudiants du programme Sciences, lettres et arts, pris dans leur ensemble, avaient la CRC la plus élevée.
■ L’ancienne cote R était corrélée significativement avec les caractéristiques des groupes mais moins que la seule cote Z.
■ La dispersion des groupes n’est pas aléatoire.
12 Juin 2018 Une CRC équitable - Perspectives
Caractéristiques des groupes au collégial
Juin 2018 Une CRC équitable - Perspectives
Un cas concret: deux groupes, deux réalités
Prog SEC MM
COL Note CRCZcol CRCMGMO
700A0 94,5 67 11,73 17,28
700A0 80,2 72 16,27 21,83
700A0 93,2 72 16,27 21,83
700A0 84,8 76 19,91 25,47
700A0 97,2 77 20,82 26,37
700A0 89,7 77 20,82 26,37
700A0 90,4 78 21,73 27,28
700A0 90,8 79 22,64 28,19
700A0 93,2 79 22,64 28,19
700A0 92,2 80 23,55 29,10
700A0 83,7 80 23,55 29,10
700A0 89,6 81 24,45 30,01
700A0 93,7 81 24,45 30,01
700A0 89,9 81 24,45 30,01
700A0 97,3 81 24,45 30,01
700A0 88,8 82 25,36 30,92
700A0 88,6 82 25,36 30,92
700A0 93,5 82 25,36 30,92
700A0 92,4 83 26,27 31,83
700A0 93,5 83 26,27 31,83
700A0 95,5 84 27,18 32,74
700A0 91,5 85 28,09 33,65
700A0 92,2 86 29,00 34,56
700A0 92,2 86 29,00 34,56
700A0 92,0 87 29,91 35,47
700A0 94,0 88 30,82 36,38
700A0 96,4 88 30,82 36,38
700A0 95,9 89 31,73 37,29
700A0 96,7 91 33,55 39,10
700A0 94,9 91 33,55 39,10
Prog SEC MM
COL Note CRCZcol CRCMGMO
300A0 67,6 53 14,99 15,85
300A0 76,0 60 18,81 19,67
300A0 75,6 62 19,90 20,76
300A0 77,8 64 20,99 21,85
500A1 74,7 67 22,63 23,49
300A0 72,7 71 24,81 25,67
300A0 85,7 72 25,36 26,22
300A0 77,4 74 26,45 27,31
300A0 77,9 75 26,99 27,86
300A0 78,8 76 27,54 28,40
300A0 84,6 77 28,09 28,95
500A1 78,4 78 28,63 29,49
300A0 81,8 79 29,18 30,04
300A0 79,9 81 30,27 31,13
300A0 78,7 83 31,36 32,22
200B0 91,3 85 32,45 33,31
200B0 89,6 89 34,64 35,50
Cours de littérature (601700) – Sciences, lettres et arts – Cégep public
Moyenne MM: 82,3
Moyenne MM: 90,7
Cours de littérature (601101) – Plusieurs programmes – Cégep public
Illustration de l’inéquité
Prog MM Note CRCZcol CRCMGMO
700A0 94,5 67 11,73 17,28
700A0 80,2 72 16,27 21,83
700A0 93,2 72 16,27 21,83
700A0 84,8 76 19,91 25,47
700A0 97,2 77 20,82 26,37
700A0 89,7 77 20,82 26,37
700A0 90,4 78 21,73 27,28
700A0 90,8 79 22,64 28,19
700A0 93,2 79 22,64 28,19
700A0 92,2 80 23,55 29,10
700A0 83,7 80 23,55 29,10
700A0 89,6 81 24,45 30,01
700A0 93,7 81 24,45 30,01
700A0 89,9 81 24,45 30,01
700A0 97,3 81 24,45 30,01
700A0 88,8 82 25,36 30,92
700A0 88,6 82 25,36 30,92
700A0 93,5 82 25,36 30,92
700A0 92,4 83 26,27 31,83
700A0 93,5 83 26,27 31,83
700A0 95,5 84 27,18 32,74
700A0 91,5 85 28,09 33,65
700A0 92,2 86 29,00 34,56
700A0 92,2 86 29,00 34,56
700A0 92,0 87 29,91 35,47
700A0 94,0 88 30,82 36,38
700A0 96,4 88 30,82 36,38
700A0 95,9 89 31,73 37,29
700A0 96,7 91 33,55 39,10
700A0 94,9 91 33,55 39,10
Prog MM Note CRCZcol CRCMGMO
300A0 67,6 53 14,99 15,85
300A0 76,0 60 18,81 19,67
300A0 75,6 62 19,90 20,76
300A0 77,8 64 20,99 21,85
500A1 74,7 67 22,63 23,49
300A0 72,7 71 24,81 25,67
300A0 85,7 72 25,36 26,22
300A0 77,4 74 26,45 27,31
300A0 77,9 75 26,99 27,86
300A0 78,8 76 27,54 28,40
300A0 84,6 77 28,09 28,95
500A1 78,4 78 28,63 29,49
300A0 81,8 79 29,18 30,04
300A0 79,9 81 30,27 31,13
300A0 78,7 83 31,36 32,22
200B0 91,3 85 32,45 33,31
200B0 89,6 89 34,64 35,50
Cours de littérature (601101) – Plusieurs programmes – Cégep public
Cours de littérature (601700) – Sciences, lettres et arts – Cégep public
MM: 82,3 CRC ZCol: 29,9 CRC ancienne (MGMO): 30,8
MM: 90,7 CRC ZCol: 21,2 CRC ancienne (MGMO): 26,7
PRÉSENT
Un nouveau cadre théorique
■ Pour être équitable, la nouvelle cote ne doit contenir aucun biais qui proviendrait des caractéristiques des groupes d’appartenance.
■ Il y a un biais si, dans un regroupement (groupe, programme, etc), la Zcor au collégial est différente de la Z au secondaire: cela signifie que les caractéristiques du groupe jouent en faveur ou en défaveur des étudiants
■ Il existe une situation théorique pour laquelle on peut évaluer tous les biais.
■ Elle correspond au cas où tous les étudiants conservent exactement la même cote dans tous leurs cours en passant du secondaire au collégial.
■ Dans ce cas théorique, mais tout de même possible, on peut démontrer que la nouvelle cote proposée ne comporte pas de biais contrairement à l’ancienne.
Octobre 2017 La nouvelle CRC - Martin Riopel 17 Juin 2018 Une CRC équitable - Perspectives
L’équité: représentation graphique
Traitement équitable
Traitement inéquitable
Biais pénalisant
Traitement inéquitable
Biais bonifiant
Un losange représente la moyenne
des étudiants d’un programme
dans un collège
Juin 2018 Une CRC équitable - Perspectives
La nouvelle cote R
Zcor = ((Zcol x IDGZ) + IFGZ)
CRC = (Zcor+ 5) x 5
■ Zcol = (note – moyenne) / écart-type
■ IFGZ = indicateur de force de groupe base sur la moyenne des cotes Z au secondaire des étudiants qui composent le groupe.
■ IDGZ = indicateur de dispersion de groupe base sur l’écart-type des cotes Z au secondaire des étudiants qui composent le groupe.
De plus, par convention
■ Zcol limitée à l’intervalle de -3 à 3
■ IFGZ limité à l’intervalle de -2 à 2
■ IDGZ limité à l’intervalle de 0,5 à 1,5
19 Juin 2018 Une CRC équitable - Perspectives
Démonstration théorique
Moyenne du groupe = IFGZ
Ecart-type du groupe = IDGZ
Zcol = (Zsec – IFGZ) / IDGZ
Zcor = Zcol x IDGZ + IFGZ
CRC = (Zcor+ 5) x 5
CRC = (((Zsec – IFGZ) / IDGZ) x IDGZ+ IFGZ + 5) x 5
CRC = (Zsec + 5) x 5
CRC ne dépend pas du groupe (IFGZ et IDGZ) et donc pas de biais.
Dans ce cas idéal, peu importe le groupe, le programme, le collège, l’étudiant obtient EXACTEMENT la même CRC.
20 Juin 2018 Une CRC équitable - Perspectives
Confirmations empiriques
■ Tous les étudiants et tous les programmes du collégial pour la cohorte 2009 (N = 27 224)
■ Quatre indicateurs d’équité décrivant la relation entre la cote au collégial et la cote au
secondaire
– A - corrélation partielle entre l’écart et la force du groupe ;
– B - corrélation partielle entre l’écart et l’hete rogene ite du groupe ;
– C - écart-type de l’écart ;
– D - corrélation entre les cotes au collégial et au secondaire.
■ Les cas de certains programmes
21 Juin 2018 Une CRC équitable - Perspectives
Confirmations empiriques - 1
22
Z R1 R2
Juin 2018 Une CRC équitable - Perspectives
Confirmations empiriques - 2
■ Pris dans leur ensemble, les étudiants des programmes Sciences de la nature ou
Sciences humaines ont une CRC équivalente en formation générale et en formation
spécifique.
■ La droite d’équité
Juin 2018 Une CRC équitable - Perspectives
Ancienne
Représentation graphique de l’équité de la nouvelle CRC
Nouvelle
Juin 2018 Une CRC équitable - Perspectives
Illustration de l’inéquité … à l’équité Cours de littérature (601700BB) – Sciences, lettres et arts - Cégep public
Prog MM Note CRCZcol CRCMGMO CRCFDMM
700A0 94,5 67 11,73 17,28 26,67
700A0 80,2 72 16,27 21,83 29,10
700A0 93,2 72 16,27 21,83 29,10
700A0 84,8 76 19,91 25,47 31,04
700A0 97,2 77 20,82 26,37 31,52
700A0 89,7 77 20,82 26,37 31,52
700A0 90,4 78 21,73 27,28 32,01
700A0 90,8 79 22,64 28,19 32,50
700A0 93,2 79 22,64 28,19 32,50
700A0 92,2 80 23,55 29,10 32,98
700A0 83,7 80 23,55 29,10 32,98
700A0 89,6 81 24,45 30,01 33,47
700A0 93,7 81 24,45 30,01 33,47
700A0 89,9 81 24,45 30,01 33,47
700A0 97,3 81 24,45 30,01 33,47
700A0 88,8 82 25,36 30,92 33,95
700A0 88,6 82 25,36 30,92 33,95
700A0 93,5 82 25,36 30,92 33,95
700A0 92,4 83 26,27 31,83 34,44
700A0 93,5 83 26,27 31,83 34,44
700A0 95,5 84 27,18 32,74 34,92
700A0 91,5 85 28,09 33,65 35,41
700A0 92,2 86 29,00 34,56 35,89
700A0 92,2 86 29,00 34,56 35,89
700A0 92,0 87 29,91 35,47 36,38
700A0 94,0 88 30,82 36,38 36,87
700A0 96,4 88 30,82 36,38 36,87
700A0 95,9 89 31,73 37,29 37,35
700A0 96,7 91 33,55 39,10 38,32
700A0 94,9 91 33,55 39,10 38,32
Prog MM Note CRCZcol CRCMGMO CRCFDMM
300A0 67,6 53 14,99 15,85 17,15
300A0 76,0 60 18,81 19,67 20,07
300A0 75,6 62 19,90 20,76 20,91
300A0 77,8 64 20,99 21,85 21,74
500A1 74,7 67 22,63 23,49 22,99
300A0 72,7 71 24,81 25,67 24,66
300A0 85,7 72 25,36 26,22 25,08
300A0 77,4 74 26,45 27,31 25,91
300A0 77,9 75 26,99 27,86 26,33
300A0 78,8 76 27,54 28,40 26,75
300A0 84,6 77 28,09 28,95 27,16
500A1 78,4 78 28,63 29,49 27,58
300A0 81,8 79 29,18 30,04 28,00
300A0 79,9 81 30,27 31,13 28,83
300A0 78,7 83 31,36 32,22 29,67
200B0 91,3 85 32,45 33,31 30,50
200B0 89,6 89 34,64 35,50 32,17
Cours de littérature (601101) – Plusieurs programmes – Cégep public
Ancienne - Nouvelle
Ancienne - Nouvelle
Ancienne Nouvelle
Juin 2018 Une CRC équitable - Perspectives
FUTUR
Le rendement minimal associé à la réussite d’un cours
Juin 2018 Une CRC équitable - Perspectives
Une mesure de l’apprentissage?
28 Juin 2018 Une CRC équitable - Perspectives
Si les groupes ne sont équivalents qu’au début du trimestre…
29 Juin 2018 Une CRC équitable - Perspectives
Un groupe a moins appris. Pourquoi?
30
50
60
70
80
90
100
Étudiant 1 Étudiant 2 Étudiant 3
Groupe 1 Groupe 2
Juin 2018 Une CRC équitable - Perspectives
Un prof convient mieux aux étudiants plus forts
31
50
60
70
80
90
100
Étudiant 1 Étudiant 2 Étudiant 3
Professeur 1 Professeur 2
Juin 2018 Une CRC équitable - Perspectives
Un prof a produit moins d’apprentissage et convient moins aux étudiants faibles
32
50
60
70
80
90
100
Étudiant 1 Étudiant 2 Étudiant 3
Professeur 1 Professeur 2
Juin 2018 Une CRC équitable - Perspectives
Mesure des apprentissages à long terme?
■ La nouvelle cote R présente l’avantage d’être généralisable à tous les ordres
d’enseignement du primaire à l’université.
■ On a vu précédemment qu’elle élimine les effets linéaires liés à la qualité de
l’enseignement ainsi qu’à la quantité d’apprentissage pour un ordre
d’enseignement donné.
■ Cependant, on peut démontrer qu’il serait possible, avec des cotes provenant de
plusieurs ordres, de suivre les apprentissages à long terme.
■ Par exemple, avec l’introduction d’une cote R universitaire, on pourrait comparer de
façon standardisée les résultats pour des étudiants provenant de collèges différents
afin de tirer des conclusions sur leurs apprentissages à long terme.
33 Juin 2018 Une CRC équitable - Perspectives
Pourquoi ça serait intéressant?
■ Dans le système d’éducation actuel, on s’intéresse beaucoup aux mesures de
performance et peu aux mesures d’apprentissage.
■ Ça ne serait pas exigeant au niveau des ressources car il n’y a pas de nouvelles
épreuves à produire (nous avons déjà les données).
■ C’est une comparaison différente car la quantité d’apprentissage n’est pas
forcément liée à la force des étudiants à l’entrée.
■ Le contexte du Québec, avec son ordre collégial combiné à ses épreuves
ministérielles, est unique au monde pour faire ça.
■ L’apprentissage à long terme n’est-il pas justement la visée de notre système
d’éducation?
34 Juin 2018 Une CRC équitable - Perspectives
Évaluation de compétence pragmatique?
■ Actuellement, on consacre beaucoup d’énergie à définir et évaluer les compétences
en cours de route et c’est bien.
■ Je propose de considérer aussi cette définition pragmatique possible de la
compétence: c’est ce qu’on réussit à faire à long terme avec ce qu’on a appris. Par
exemple, un médecin sera finalement jugé compétent s’il pose généralement de
bons diagnostics durant l’ensemble de sa carrière.
■ De façon apparentée, si on a bien appris au collégial dans un programme
préuniversitaire, on devrait réussir mieux dans le programme universitaire choisi, et
cette compétence devrait transparaître dans les cotes R universitaires obtenues.
35 Juin 2018 Une CRC équitable - Perspectives
QUESTIONS?
Références
■ Bureau de coopération interuniversitaire (BCI)
http://www.bci-qc.ca/etudiants/cote-r
■ De Celles, S. et Drolet, R. (2017). Présentation sommaire de l’ajustement au calcul
de la cote de rendement au collégial. Montréal: BCI.
■ Guay, R. et Riopel, M. (2014). L’équité de la mesure du rendement des étudiants du
collégial. Montréal: BCI.
37 Juin 2018 Une CRC équitable - Perspectives