Embed Size (px)
Citation preview
1
Evaluer des capacités de
raisonnement et/ou évaluer un
potentiel ? Colloque CERFOP, Paris , 21 mai 2014
Philippe CHARTIER
INETOP/CNAM
Maître de conférences en psychologie à
l’INETOP/CNAM/PARIS
Responsable du groupe GEP (Groupe sur
l’Evaluation des Personnes)
Contact : [email protected]
2
3
Plan
Introduction
I. L’approche de l’évaluation dynamique
II. L’approche de l’analyse des erreurs
4
Chartier, P., Barbot, H. et Ozenne, R. (2014). L’analyse des erreurs
dans les tests de raisonnement logique : principes et illustrations.
L'Orientation Scolaire et Professionnelle, 43, 1 (à paraître)
Chartier, P. et Barbot, H. (2013). Mesurer un niveau de performance
et/ou évaluer un potentiel ? Exemple d’interprétation des résultats aux
matrices de Raven, Approche Neurologique des Apprentissages chez
l’Enfant, 122, 72-79.
Chartier, P. et Lallemand, N. (2013). Comment dépasser le constat
d’un niveau de performance à un test de raisonnement ? Exemple
d’une épreuve. Pratiques Psychologiques, 19, 55-65.
Chartier, P. (2012). Les tests RCC. Paris : Eurotests éditions
5
Chartier, P. & Loarer, E. (2008). Evaluer
l’intelligence logique. Paris : DUNOD. Chapitre 7 :
l’évaluation dynamique
Huteau, M. & Lautrey, J. (1999). Evaluer
l'intelligence. Paris : PUF. Chapitre IX « de
l’évaluation statique à l’évaluation dynamique ».
Guthke, J. (1990). Les tests d’apprentissage
comme alternative ou complément aux tests
d’intelligence : un bilan de leur évolution.
European Journal of Psychology of Education, V,
2, 117-133. + nombreux articles en allemand
Hessels & Hessels-Schlatter, (2010) Evaluation
et intervention auprès d’élèves en difficulté. Peter
Lang
Büchel, F-P., Ed (1995). L’éducation
cognitive. Le développement de la capacité
d’apprentissage et son évaluation.
Lausanne : Delachaux et Niestlé.
6
INTRODUCTION
Evaluer un état/évaluer un potentiel
Evaluer une performance / évaluer une
compétence (Chomsky)
Evaluer des capacités latentes ?
2 pistes :
1° le courant de l’évaluation dynamique
2° l’analyse des erreurs
7
8
I. L’approche de l’évaluation
dynamique
1° Evaluation statique /Évaluation dynamique
2° Evaluation d’un Potentiel d’Apprentissage (P.A) / = évaluation d’un changement
Tests d’apprentissage…
3° La question de la standardisation de la passation…
4° Une autre position pour le psychologue : évaluation et formation…
5° mais des limites…théoriques et méthodologiques
9
La notion de test d’apprentissage
« Les tests d’apprentissage sont des
procédés diagnostiques qui offrent au
sujet une situation d’apprentissage
standard et qui retiennent comme
information diagnostique la réussite
que tire le sujet de cette possibilité
d’apprentissage »
(Flammer & Schmid, Tests
d’apprentissage, p.181, In Büchel (1995)
« Compte tenu de leur diversité, le
commun dénominateur des
évaluations dites dynamiques
réside dans la production d’un
écart entre l’efficience observée
dans les conditions standards
habituelles et l’efficience obtenue
avec l’aide de l’examinateur. …
10
…Cet écart signalerait des capacités
dites potentielles dans la mesure où
leur expression dépend des conditions
d’évaluation. Toute évaluation
dynamique se propose donc de réduire
la distance entre les performances et
les compétences en aidant le sujet à
exprimer « au mieux » ses capacités
cognitives. »
(Paour, J-L., Jaume, J., et de Robillard, O.,
1995, p.66).
11
«Toutes les approches ont en commun
le fait qu’un entraînement ou des aides
sont introduits dans le test. Les
approches diffèrent cependant quand à
la nature et à l’étendue des aides
fournies, allant du simple feed-back
après une réponse, à un enseignement
explicite des règles et stratégies
nécessaires pour résoudre les tâches »
(Hessels, 2010, p.11) 12
13
I. L’évaluation d’un potentiel
d’apprentissage : les précurseurs
1. VYGOTSKY (1896-1934) :
La notion de ZPD : la Zone Proximale de Développement (Z.P.D)
ou Zone de Proche Développement Ou Zone de développement potentiel : exprime mieux l’idée d’un possible développement…
« La différence entre le niveau de résolution de problèmes sous la direction et avec l’aide d’adultes et celui atteint seul définit la zone proximale du développement.»
« Ce que l’enfant est en mesure de faire aujourd’hui à l’aide des adultes, il pourra l’accomplir seul demain » =>pronostic d’une marge de développement possible, de développement potentiel
Vygotsky,1985, p. 108 In Schneuwly et Bronckart (1985), Vygotsky aujourd’hui. Delachaux et Niestlé
14
« Deux enfants ont le même âge mental de 7 ans ; cependant l’un des 2 résout avec un minimum d’aide des tâches pour des enfants de 9 ans, alors que l’autre ne réussit que des tâches adaptées à des enfants de 7 ans et demi.
Le développement mental de ces 2 enfants est-il le même ? Du point de vue de leur capacité autonome, oui ; mais du point de vue de leur capacité potentielle de développement, ils sont très différents.»
Vygotsky,1985, p. 108
15
« La ZPD a une signification plus
directe pour la dynamique du
développement intellectuel et la
réussite de l’apprentissage que le
niveau présent de leur
développement »
(Vygotski, cité par Chartier & Loarer, 2008,
p.334).
16
• 2 aspects :
1° Estimation de la ZPD à partir de 2 scores
2° Existence de différences interindividuelles
au niveau de la ZPD
• 1 remarque : Notion de ZPD développée par Vygotsky à propos d’enfants…notion reprise et
appliquée pour les adultes…
Quelles conceptions de l’intelligence de l’adulte ? Existe-t-il aussi des
capacités de développement chez l’adulte ? Et chez tous les adultes ???...
=> Lien étroit avec l’approche de l’éducabilité cognitive…
17
Les précurseurs (suite) 2. André REY Les propositions de Rey (1934), D’un procédé pour évaluer l’éducabilité, Archives de Psychologie, 24, 297-337
« On a collectionné, jugé et évalué les réponses fournies aux questions les plus diverses, les solutions données pour les problèmes les plus variés. Grâce à un étalonnage de ces épreuves, on s’est donné la possibilité de comparer les sujets entre eux et d’assigner un rang à leurs aptitudes ou au niveau de leur développement…
…En agissant de la sorte, ne met-on pas sur
le même plan des individus qui, en réalité,
ne sont pas comparables ? En effet, chez
les uns, les possibilités d’adaptation se sont
actualisées au maximum, chez d’autres, des
marges plus ou moins étendues subsistent
encore »
(Rey, 1934, p.299)
18
19
REY : Proposition d’épreuve
d’apprentissage : « Pratiquement, ces
épreuves revêtent des formes
d’apprentissage. On retient la manière
et la rapidité avec laquelle un individu
s’adapte à une tâche déterminée et on
compare entre sujets, les caractères de
l’éducabilité » (Rey, p.300).
(Guthke, 1990, p.118) Intérêt de la démarche pour
:
1° passer d’un constat ponctuel d’un savoir-faire à
l’évaluation d’un potentiel, à un diagnostique de
compétence …
2° proposer des situations d’évaluation qui
permettent d’apprendre au moyen de ses erreurs,
type d’apprentissage courant dans la vie
quotidienne…
3° apprécier plus équitablement les potentialités
des personnes dites « défavorisées » ou vivant
dans des conditions de carence culturelle
extrême.. 20
21
Comment faire ? « La situation de test d’apprentissage a été
réalisée :
soit par simple répétition d’un test
d’intelligence,
soit par création d’une situation
expérimentale avec pré-test, intervention
et post-test,
soit par une phase d’enseignement avant la
présentation d’un test,
soit enfin par des aides fournies pendant la
phase de test »
22
Exemple de démarche A-T sur
l’épreuve des cubes
Planche A Planche B (aide 1) Planche C (aide 2)
Modèle à l’échelle
1
Modèle avec
limites des
cubes visibles
A-T :
- principe des aides graduées…
- qui reposent sur une analyse théorique
des difficultés des items
- si possible standardisées…mais des
approches différentes (ex LPAD…)
23
Exemple de démarche T-A-R
Test/Apprentissage/Retest Phase 1 : passation classique d’un test (type
facteur g : le plus souvent les matrices de
Raven…)
Phase 2 : une phase d’apprentissage, avec
des exercices, des supports…travail sur les
stratégies de résolution, les pièges, les
erreurs…(atelier d’une heure par exemple ;
2 x 45 minutes pour Guthke)
Phase 3 : retest classique soit la même
épreuve, soit une forme parallèle
24
25
Quels indicateurs du P.A ?
T.A.R et Test/retest: différence pré/post
(score de gain, analyse possible de la
progression dans les erreurs…)
A.T : capacité à tirer profit des aides /
nombre d’aide ayant donné lieu à une
réussite ? À un échec ?...réussite des
tâches de « transfert »… Exemple : calcul d’un rapport Nb d’aides données/nb d’aides
efficaces…
26
V. Les limites de l’évaluation dynamique
3 types de limites :
1° des limites pratiques : temps de
passation, matériel disponible, références
disponibles (ex : étalonnages de retests..)
2° des limites méthodologiques (problème
de la fidélité des scores de gain)
3° des limites théoriques : validité de ce qui
est évalué ? Interprétation et
généralisation des résultats ?
27
Autres limites :
- Quelle prise en compte des différences
individuelles dans les aides ? (ex :
stratégies aux cubes…adapter l’aide aux
stratégies des sujets ?)
- La « résistance » au changement dans les
pratiques évaluatives…
Une recherche INETOP 2012/14 3 TER de Bonhoure, Grathwohl et Legendre Emilie
(promotion 2012/14 )
Méthodologie : test /retest RCC en classe
de 5ème SEGPA
Pas de phase d’apprentissage…
Participants :
• Effectif de départ : 119 élèves
• Effectif exploitable : 76 élèves (absence au retest,
protocole peu fiable, gain < -1 point…)
52 garçons, 24 filles; Age moyen = 14 ans 3 mois
28
Présentation du test RCC 1 épreuve de raisonnement logique de type
facteur g (Chartier, 2012)
Trouver la carte (famille et valeur) qui vient compléter une suite proposée.
RCC forme b : 40 items, temps limité à 20
minutes. Scores RCC possibles : de 0 à 40
(1pt par B.R)
• Plusieurs indicateurs possibles : score
total, sous scores, vitesse, précision,
indicateurs de la qualité des erreurs…
29
30
Les items du RCC : exemple d’item Numérique N
Méthodologie
Test 1 : score RCC1
Test 2 (J +1 ou J+2) : score RCC2
Analyse des gains entre temps 1 et temps 2
= indicateur d’un Potentiel d’apprentissage
Quel est le meilleur indicateur des capacités
de raisonnement de l’élève : RCC1 ou RCC
2 ?
31
Hypothèses principales ?
Effet test/retest ?
Effet test/retest identique chez tous les
participants ?
Analyse qualitative des gains (quelle
transformation des réponses ? Hyp sur les
BRP)
Lien entre PA et avis des enseignants
(questionnaire) ?
32
Les effets test/retest ?
moyenne E Type mini maxi
RCC1 14 7,3 0 28
RCC2 18 7 1 36
Gain 4,03 4,05 -1 +15
33
Tableau 1 : valeurs descriptives des variables RCC1, RCC2 et gain
Effet test/retest identique chez tous
les participants ?
Score
RCC1
effectif Sores
RCC2
Gain
moyen
Gain
mini/maxi
Détails des
gains
individuels
10 7 13 à 22 5,4 3 à 12 3/4/7/8/8/12/12
11 4 12 à 15 2,5 1 à 4 1/2/3/4
16 6 16 à 25 3,8 0 à 9 0/1/4/4/5/9
18 4 18 à 25 2,5 0 à 7 0/0/3/7
20 4 19 à 23 0,7 -1 à +3 -1/-1/2/3
23 6 22 à 29 1 -1 à +6 -1/-1/0/0/2/6
25 4 24 à 29 1,2 -1 à +4 -1/1/1/4
34
effectif Gain
moyen
Groupe 1
(RCC1<10)
26 + 6,1
Groupe 2
(RC1 >10)
50 + 3
35
Tableau 3 : comparaison du gain moyen sur deux groupes contrastés
Analyse qualitative des gains
(quelle transformation des réponses ? Hyp sur les BRP ?)
Pattern
possible
RCC1 => RCC2
% observé
/réponse en
RCC1
Nature de l’évolution RCC1 =>
RCC2
1 => 1 81 Conservation réussite
0 => 0 48 Conservation erreur
0,5 => 0,5 52 Conservation BRP
0 => 1 23 Erreur transformée en BR
0,5 => 1 30 BRP transformée en BR
0 => 0,5 29 Erreur transformée en BRP 0,5
0,5 => 0 18 Régression BRP vers erreur
1 => 0,5 14 Régression BR vers BRP 0,5
1 => 0 4 Régression BR vers erreur 0
36 Tableau 4 : analyse de l’évolution des pattern de réponse
Lien entre PA et avis des
enseignants ?
1 questionnaire enseignant sur les capacités
de l’élève a progresser
=> Corrélations ?
Significatives mais pas dans le sens attendu
???
37
Conclusion des études TER
1° Difficulté à faire comprendre la nécessité
de passer 2 fois la même épreuve…
passations parfois difficiles et certains
protocoles peu fiables
2° Des différences inter élèves importantes
sur le score de gain
3° Utilité d’avoir 2 scores pour caractériser
les capacités de l’élève…mais problème de
l’absence de références pour pouvoir situer
les gains observés… principe de l’étalonnage
4° avis des COPS concernés ?
38
Réflexions
Situation P.A particulière => quelle
généralisation sur d’autres situations ?
Et sur des situations d’apprentissage
scolaire & en groupe ?
Sur le retour à un milieu « sous stimulant » ?
39
Conclusion sur l’approche
dynamique « D’après les auteurs travaillant sur ce thème, l’avantage
des tests dynamiques sur les épreuves classiques serait
double. Ils fourniraient d’une part un meilleur diagnostic de
la capacité d’apprentissage des personnes évaluées et,
d’autre part, limiteraient le poids des variables culturelles
dans l’évaluation réalisée » (Loarer, 2001, p.69-70).
« C’est donc surtout lorsqu’ils sont face à une
performance de bas niveau dans les tests conventionnels
que les praticiens peuvent avoir avantage à recourir à
l’évaluation dynamique pour lever une ambiguïté sur
l’origine de cette mauvaise performance et guider la
remédiation » (Huteau et Lautrey, 1999, p.272).
40
« Avec le recours à la ZPD, le sens d’une
évaluation psychologique change
radicalement : il ne s’agit plus de fournir un
chiffre nu, un chiffre brut, unique, ou
d’opérer un « bilan » (…). Le psychologue
se fixe plutôt pour tâche de dessiner de
vastes zones à l’intérieur desquelles le sujet
peut se mouvoir plus ou moins librement,
seul ou accompagné, avec un bonheur
variable et des chances inégales de réussite
selon les modalités de l’étayage ». Meljac,
2005, p.31, Le journal des psychologues
n°230 41
42
II. L’approche de l’analyse des
erreurs pour estimer un potentiel
Des recherches en pédagogie, en
didactique…mais pas de recherche en
psychométrie…
C’est une source d’information
habituellement négligée dans les tests de
type aptitudes intellectuelles & Q.I.
Principe général de l’analyse
des erreurs dans les tests Une réponse différente de la BR = 0
Catégorisation 0/1…=> 0 = 0 ???
Mais :
1° finesse possible de la cotation 0/1/2 dans
certains subtests du WISC…
2° Il peut exister des différences de
« qualité » entre des réponses « fausses »
différentes, de proximité avec la BR…
=> 0 # 0 !!!
43
Démarche ?
Etape 1 : Identifier différentes qualités de
réponse « fausses »
Etape 2 : Possibilité de calculer des
indicateurs spécifiques ? => l’exemple du
test RCC et des BRP : ½ point…
44
45
L’analyse des erreurs au test
RCC
• La bonne réponse = les 2 éléments
corrects (famille et valeur) idem autres tests : D70…
• 1 seul élément correct = 0
• 0 élément correct = 0
Approche => 0 = 0 ???
= Distinguer différents types d’erreurs, plus
ou moins proches de la bonne réponse
attendue.
46
Principes de l’analyse des
erreurs au RCC
Bonne réponse ici ? 7 pique
Toute autre réponse = erreur = 0
Mais 0 = 0 ?
Certaines réponses erronées sont + proches
de la BR…
exemples :
-7 trèfle (Valeur correcte mais famille fausse)
- Une autre carte de Pique ? Ex 6 Pique
(Famille correcte, mais valeur fausse ..erreur
de calcul ?...) Ces 2 types de réponse valent-elles
réellement 0 ?
Apportent-elles des informations sur la
logique de raisonnement du sujet ?...
Pourquoi alors ne pas les prendre en compte
???…
47
• Possibilités d’analyse des erreurs:
1° Approche descriptive :
Au niveau des items : les types d’erreurs les +
fréquentes…
Au niveau des sujets : Identifier les différentes
erreurs…repérer un style préférentiel ?...
2° Autre approche = différencier des qualités de
réponse…et estimer un potentiel
Notion de Bonne Réponse Partielle BRP
48
Etape 2 : Le score R.P Réussite Partielle
• Principe général = accorder une partie du point dans le cas d’une BR partielle.
½ point
Score RP = somme des ½ points
49
Tableau 6
Répartition des réponses fausses au RCC
proportion minimum maximum
T1 82% 50% 100%
T2 : BRP valeur 6% 0 27%
T2 : BRP famille 12% 0 40%
Résultats descriptifs des scores
moyenne E Type mini maxi
RCC 18,6 6,6 1 33
RP 3,6 2,5 1 14,5
RCC
Potentiel
22,2 6,3 6,5 36,5
50
Variabilité des scores RP et RCC Potentiel pour
les scores RCC les plus fréquents
51
Variabilité des scores RCC pour les
scores RCC Potentiel les plus fréquents
52
Que représente ce score Potentiel ?
Que représentent des différences de scores Potentiel pour un
même score ?
• Des hypothèses :
• Un potentiel de développement, une marge de
progression
• Des capacités latentes qui ne sont pas prises en
compte par le score classique => une évaluation
plus proche de la notion de compétences / score
classique qui est une évaluation d’une
performance
• Lien avec la ZPD de Vygotsky
• Lien avec les objectifs de l’évaluation
dynamique
53
Test RCC :
• 1 étalonnage pour le score RCC
• 1 étalonnage pour le score RCC Potentiel
=> Comparaison possible des gains RP…
54
L’analyse des erreurs au
subtest Matrice du WISC TER DECOP : Destrebecq, A., 2012,
Analyse des profils de réponses et des
erreurs pour un test de raisonnement : les
matrices du WISC IV. Mémoire de DECOP.
Paris : INETOP
Application au subtest Matrice de l’approche
Chartier/Barbot développée pour les
matrices de Raven
56
Etape 1 : catégorisation des distracteurs Type ditracteur Description
T1. Réponse
identique
Le distracteur est identique à un élément de la matrice
qui n’est pas la bonne réponse. Aucune élaboration de
la bonne réponse.
T2. Réponse
partielle
Le distracteur comprend toutes les règles de
transformation nécessaires à la résolution de l’item, sauf
une (à condition que cette réponse ne figure pas déjà
dans la matrice : dans ce cas type 1) => une élaboration
partielle de la bonne réponse
T3. Réponse
perceptivement
proche
Le distracteur est une réponse perceptivement proche
de la bonne réponse mais avec un élément différent ou
une (légère) erreur d’orientation => une élaboration
partielle de la bonne réponse ?
T4. Réponse
éloignée
Plusieurs règles ne sont pas présentes dans ce
distracteur ou réponse perceptivement éloignée.
T5. Réponse
aberrante
Le distracteur n’a aucun lien avec la bonne réponse.
Aucune élaboration de la bonne réponse.
57
Type de distracteur Description
T1. Réponse identique Le distracteur est identique à un élément de la matrice qui n’est pas la bonne
réponse. Aucune élaboration de la bonne réponse .
T2. Réponse partielle Le distracteur comprend toutes les règles de transformation nécessaires à la
résolution de l’item, sauf une (à condition que cette réponse ne figure pas déjà
dans la matrice, dans ce cas type 1). Notion de Bonne Réponse Partielle BRP =
une élaboration partielle de la bonne réponse.
T3. Réponse
perceptivement proche
Le distracteur est une réponse perceptivement proche de la bonne réponse mais
avec un élément différent ou une (légère) erreur d’orientation => une élaboration
partielle de la bonne réponse ? (à rapprocher de la notion de BRP).
T4. Réponse éloignée Plusieurs règles ne sont pas présentes dans ce distracteur ou réponse
perceptivement éloignée.
T5. Réponse aberrante Le distracteur n’a aucun lien avec la bonne réponse. Aucune élaboration de la
bonne réponse.
58
Exemple d’erreur de type 2 : item 16
59
Exemple d’erreur de type 2 : item 18
60
Exemple d’erreur de type 3 : item 22
61
Exemple d’erreur de type 3 : item 28
62
Catégorisation de l’ensemble des
distracteurs du subtest => élaboration d’une
grille
63
ITEM Bonne réponse T1 T2 T3 T4 T5
1 2 1 ; 3 ; 4 ; 5
2 3 1 ; 2 ; 4 ; 5
3 4 1 2 ; 3 ; 5
4 1 2 3 ; 4 ; 5
5 5 2 4 1 ; 3
6 2 1 3 ; 4 ; 5
7 4 1 3 2; 5
8 4 1;2 5 3
9 1 3 4 ; 5 2
10 3 5 4 1 ; 2
11 2 1 3 ; 4 ; 5
12 5 1 ; 3 ; 4 2
13 4 3 ; 5 ; 2 1
14 1 2 ; 3 ; 4 5
15 1 2 ; 5 ; 4 3
16 2 4 3 1 5
17 5 3 2 1 4
18 4 1 5 2 ; 3
19 2 3 4 1 5
20 4 2 1 ; 3 ; 5
21 3 1 ; 5 4 2
22 3 2 ; 4 5 1
23 5 4 1 ; 2 ; 3 ?
24 4 2 ; 3 1 5
25 3 1 ; 2 4 ; 5
26 1 2 ; 3 ; 5 4
27 2 1 ; 5 4 3
28 1 2 5 3 ; 4
29 2 1 ; 5 3 ; 4
30 2 1 ; 3 4 ; 5
31 5 3 4 ; 1 2
32 4 3 ; 5 2 1
33 3 4 ; 5 2 ; 1
34 1 2 3 ; 4 ; 5
35 5 3 1 ; 2 ; 4
Total 34 21 13 26 46
Pourcentage 24,3 % 15 % 9,3 % 18,6 % 32,8 % 64
ITEM B R T1 T2 T3 T4 T5
21 3 1 ; 5 4 2
22 3 2 ; 4 5 1
23 5 4
1 ; 2 ; 3
?
24 4 2 ; 3 1 5
25 3 1 ; 2 4 ; 5
26 1 2 ; 3 ; 5 4
27 2 1 ; 5 4 3
28 1 2 5 3 ; 4
29 2 1 ; 5 3 ; 4
30 2 1 ; 3 4 ; 5
31 5 3 4 ; 1 2
32 4 3 ; 5 2 1
33 3 4 ; 5 2 ; 1
34 1 2 3 ; 4 ; 5
35 5 3 1 ; 2 ; 4 65
Distribution des types de
distracteurs sur subtest
Matrices
ITEM T1 T2 T3 T4 T5
Total 34 21 13 26 46
Pourc
entag
e 24,3 % 15 % 9,3 % 18,6 % 32,8 % 66
Calcul de scores
• Décision : T2 et T3 = BRP = 0,5 points
Le score RP
le score Matrice Potentiel
67
TER 2013 Angèle Destrebecq
• 85 protocoles WISC
• Scores bruts Matrices de 19 à 24,
m = 21,4, ET = 1,7
• Objectif = pouvoir comparer des élèves de
niveau équivalents => sélection de scores
proches
• Score BRP = nb de BRP
• Score RP = Nb BRP x 0,5
68
Erreur
type
T1
T2 T3 T4 T5 Nombre
d’erreur
complète
T1+T4+T5
Nb de
BRP
T2+T3
Moyen
ne
1,4 1,6 1,2 0,7 2,3 4,4 2,9
E type 1,4 1,1 1,2 0,8 1,8 2,46 1,73
Mini/m
axi
0-6 0-4 0-5 0-3 0-9 0-11 0-9
69
Tableau 4 : répartition des erreurs sur l’ensemble du groupe
Sco
re
N Moyen
ne
BRP
Effectifs pour chaque score BRP
0 1 2 3 4 5 6 9
19 15 2,7 2 0 3 6 3 1 0 0
22 14 2,5 1 4 5 0 1 1 2 0
24 13 3,5 0 2 2 5 1 1 1 1
70
Tableau 5 : Distribution du scores BRP pour quelques scores bruts Matrice identiques (effectif les plus fréquent en gras)
Scores Moyenn
e
E Type mini maxi
Matrice 21,4 1,7 19 24
RP 1,4 0,86 0 4,5
Matrice
Potentiel
22,8 2 19 28,5
71
Tableau 6 : Scores RP, Matrice et Matrice Potentiel
Scor
e
Mat
N Mat Pot
moyenne
(mini/max
i)
effectifs des gains RP
0 + 0,5 + 1 +1,5 +2 +2,5 +3 +3,5
19 15 20,4
(19/21,5)
2 0 3 6 3 1 0 0
20 17 21,1
(20/22,5)
2 3 2 7 2 1 0 0
21 15 22,8
(21/24)
1 1 3 4 3 1 2 0
22 14 23,1
(22/25)
1 4 5 0 1 1 2 0
23 11 24,6
(23/26)
1 2 1 2 2 3 0 0
24 13 25,7
(24,5/28,5
0 2 2 5 1 1 1 1
Total 7 12 16 24 12 8 5 1 72
Que représente ce score Potentiel ?
Que représentent des différences de scores Potentiel pour un
même score Matrice ?
• Des hypothèses :
• Un potentiel de développement, une marge de
progression
• Des capacités latentes qui ne sont pas prises en
compte par le score classique => une évaluation
plus proche de la notion de compétences / score
classique qui est une évaluation d’une
performance
• Lien avec la ZPD de Vygotsky
• Lien avec les objectifs de l’évaluation
dynamique
73
Expé 2 matrices (K.Terriot et
P.Chartier) en cours • 72 protocoles WISC venant des CIO (suite
à la circulaire d’expérimentation de
l’OPPIO)
•
• Scores bruts Matrices de 7 à 32 (m = 19,9)
74
Scores Moyenn
e
E Type mini maxi
Matrice 19,9 1,7 7 32
RP 1,14 0,75 0 3
Matrice
Potentiel
21 5,6 7 32
75
Score
Mat
N Mat Pot
moyenne
(mini/maxi)
effectifs des gains RP
0 + 0,5 + 1 +1,5 +2 +2,5 +3
20 8 (20/22) 1 2 4 0 1 0 0
21 9 (21,5/24) 0 3 3 1 1 0 1
22 7 (22/24,5) 1 2 1 2 0 1 0
23 13 (23/25) 1 1 2 7 2 0 0
Total 3 8 10 10 4 1 1
76
Tableau 12 : Analyse des scores Matrice Potentiel à score Matrice identique
Un autre indicateur possible : le
score DIR Dernier Item Réussi
Ecart DIR = score DIR – score Matrices
77
moyenne E Type Mini/maxi
Matrice 19,9 5,32 7/32
DIR 22,7 5,96 9/33
Ecart DIR 2,93 2,13 0/10
Ecart
DIR
0 1 2 3 4 5 6 7 8 10
effect
if
6 14 13 15 11 4 3 1 3 1
% 8,3
%
19,4 18,1 20,8 15,3 5,6 4,2 1,4 4,2 1,4
78
Scores
Matrices
Effe
ctif
Score DIR
21 22 23 24 25 26 27 28 29 30
18 3 2 0 0 0 0 0 0 1 0 0
21 9 0 3 1 2 1 1 1 0 0 0
22 7 0 3 2 0 0 1 0 0 1
23 13 1 1 2 3 4 0 1 1
79
Que représente ce score DIR ?
• Lien avec la hiérarchisation (théorique) du
niveau de difficulté des items
• Recherches à poursuivre…
80
Au final, en appliquant les 2 approches
(BRP et score DIR), le psychologue dispose
de 3 scores pour caractériser la
performance de l’élève :
Score Matrice
Score Matrice Potentiel
Score DIR
Quels types de liaison peut-on attendre
entre ces 3 scores ?
• Entre scores Matrices, matrices Pot et
DIR ?
• Entre variables BRP et écart DIR ?
81
Corrélations entre les scores
Mat
Pot
T2 T3 RP Ecart
DIR
Matrices .99 .23 .28* .35** .20
Matrices
Pot
.32** .35** .46** .25*
Ecart
DIR
.512 ** .188 .506**
82
Les perspectives Compte tenu des limites actuelles les
tests de type P.A, ainsi que les
indicateurs et scores issus de l’analyse
des erreurs, ne peuvent pas (pas
encore ?) être une alternative aux
évaluations classiques mais seulement
être complémentaires aux scores et
indicateurs traditionnels…
mais recherches à poursuivre... et
l’élaboration de normes & étalonnage… 83
• « Ils devraient davantage être utilisés pour
dévoiler des potentiels d’apprentissage
caractéristiques de l’individu, les stratégies
utilisées, les sources d’erreurs, etc. afin de
pouvoir mieux qu’avec les tests
d’intelligence obtenir des directions pour
l’enseignement ou le choix de mesures de
soutien » (Guthke, 1990, p.125)
84
Pratiques du COP ?
• Quelles utilisations possibles de ces
approches ?
• Sur quel types d’élèves ?
• Dans quelle(s) type(s) de situation ?
85
D’où :
1° la nécessité de construire des tests
spécifiques (/ aux pratiques actuelles qui
adaptent des tests existants),
2° constitués d’items, et de choix de
réponse, fondés sur des bases théoriques
permettant une analyse des erreurs
3° et reliés alors à des aides spécifiques et
individualisés => Vers une évaluation de
type diagnostique
4° établir des liens avec des situations
d’apprentissage scolaire… 86
87
Illustrations : quelques pratiques
possibles
Difficulté de passer des recherches aux pratiques…et à la
diffusion (et l’édition) des dispositifs d’évaluation…
Plusieurs pistes :
1° Utiliser des épreuves éditées (TEDE 6)
2° Adapter une démarche (épreuve des cubes)
3° Hessels : TAPA et HART
4° évaluer un potentiel par l’analyse des stratégies
5°Autre approche : Partir de l’analyse des erreurs
pour estimer un potentiel (RAVEN, RCC)
88
1°Utiliser des épreuves éditées :
le TEDE 6 (EAP , ECPA ?)
• Objectifs de l’épreuve (manuel, p.11) :
« le TEDE 6 a pour objectif principal l’évaluation du potentiel d’apprentissage de l’adulte, du candidat apprenti et de l’apprenti. Ce potentiel est établi dans le cadre d’une évaluation dynamique qui introduit dans la procédure de passation de l’épreuve une phase d’apprentissage. On peut, par ce procédé, se centrer sur la performance, mais aussi sur la compétence d’apprentissage par observation de la réactivité et de la modifiabilité des conduites du sujet face aux aides apportées »
Daniel Pasquier : www.avenirentreprise.tk
89
« En quelque sorte, l’évaluation dynamique
fonctionne à la manière d’une
microformation : on place le sujet en
situation d’apprentissage, dans le cadre
quasi expérimental d’un micro monde, on
observe son mode de fonctionnement
dans cette situation, puis on évalue sa
performance en situation d’autonomie,
c’est à dire son potentiel
d’apprentissage ».
90
Le test TEDE6
Figure*. Exemple
d’item du test de calcul
des longueurs de
Faverge (1955) et dont
s’inspire le TEDE
91
Le TEDE comprend trois
niveaux de difficulté des items
selon la complexité des
opérations à effectuer
Extrait de Chartier & Loarer
(2008)
« la tâche du TEDE6, de nature
spatiale et logico-mathématique,
est double. D’une part, il s’agit de
composer une égalité à partir de
segments de droite et, d’autre
part, de tracer des flèches figurant
les superpositions de segments
justifiant cette égalité » In
document EAP, présentation du
TEDE6.
92
93
« Le potentiel d’apprentissage (PA) se concrétise dans un niveau de performance post apprentissage. In fine, la variable PA évalue la capacité de transférer un apprentissage médiatisé, c’est à dire la capacité de refaire seul ce qu’on vient d’apprendre à réaliser en situation pédagogique. On se place ainsi dans un cadre analogue au cadre des apprentissages professionnels, qu’ils soient menés en centre de formation, ou en entreprise » (manuel TEDE 6, p.16).
• 2 phases :
Phase d’apprentissage (60 minutes) : livret apprentissage (18 items), correction avec repérage des erreurs…
Phase test : livret test (18 items forme //, en temps limité de 45 min), correction
94
• Résultats :
1 score total = score à la phase test (m=100,
écart-type =15) = expression du PA
3 profils :
- fonctionnel (en relation avec les spécificités de
la tâche) ;
- Apprentissage (repérage des erreurs, de la
correction… );
- Transfert (analyse des transferts entre items
d’apprentissage et items de test);
95
Conclusion sur le TEDE 6
1° Contenu spécifique (facteur S,
géométrie…) qui limite sans doute la
généralisation des observables
2° Absence de score pré test
3° Possibilités d’analyse fine des
performances des sujets
4° le seul test édité !
96
2° Adapter une démarche
(épreuve des cubes 1)
• Procédure « Ionescu » (Chartier & Loarer,
2008)
Aides standardisées au cours du test
Principes des aides graduées : 3 niveaux
d’aide progressive
97
Principes de la passation
98
Planche A Planche B (aide 1) Planche C (aide 2)
99
Les indicateurs
Chartier et Loarer (1994) introduisent une variante en proposant 2 nouveaux scores par rapport à Ionescu et al. (1987) pour limiter le problème concernant la liaison négative observée habituellement entre le score de réussite spontanée et le nombre d'aides ou de transferts réussis. Il s’agit de deux rapports :
- le rapport (appelé RA, « rapport d’aide ») donné par l'opération : nombre de réussites consécutives à une aide/ nombre d’aides fournies, qui désigne la capacité du sujet à tirer parti des aides qui lui sont fournies,
- le rapport (appelé RT « rapport de transfert ») donné par l'opération : nombre de transferts réussis / nombre d’occasions de transférer, qui désigne la capacité du sujet à généraliser le principe de réussite appris au cours de l’aide.
100
2° Adapter une démarche
(épreuve des cubes 2) Le test des carrés (Mary et Mariel, 1985 ?, EAP,
n’est plus édité).
(modèle en 2D : cubes => …des carrés)
Adapté aux enfants de 4 à 6 ans.
Procédure Test- aide –retest
« On ne se contente plus d’évaluer un niveau obtenu par l’enfant, on essaie en outre d’agir sur ce dernier, de le modifier »
21 items (type Kohs)
1 carnet test, 1 carnet apprentissage (mêmes figures mais couleurs différentes)
101
Phase test (passation classique) : arrêt après 3 échecs consécutifs + limites de temps (score 1)
Phase aide/retest : reprendre les items échoués avec le carnet apprentissage. Aide verbale, puis démonstrations si nécessaires. Puis reprise de l’item échoué avec le carnet test (transfert). (Score 2)
INDICATEURS : 2 scores => 1 étalonnage test (score 1) / 1 étalonnage retest (score 1 + 2)
102
« Le test des carrés est essentiellement un
test d’éducabilité. Aussi, au retest, après
explication, l’important n’est-il pas
tellement le score obtenu, mais plutôt
l’observation de l’enfant dans sa
démarche, ses tentatives pour surmonter
la difficulté. Parfois une intervention de
l’examinateur permet une sorte de déclic
qui ouvre brusquement la porte à la
réussite »
103
« Comme dans les techniques de PIAGET,
le sujet peut parfois être poussé à
l’absurde pour voir comment il va réagir.
Une grande liberté est donc laissée à
l’examinateur ».
=> Remarque : problème alors de la
standardisation ?
104
Conclusion sur les épreuves
cubes 1° Absence d’épreuve éditée... mais des
démarches bien décrites dans la littérature
2° Fabrication assez facile du matériel…mais nécessité d’avoir des références (étalonnages…) pour estimer les scores de gain…
3° Elaborer des aides adaptées aux stratégies de sujets ? (cf : logiciel SAMUEL) aux styles d’apprentissage ?
4° Projets possibles : test /retest (idem Test des carrés) avec les modèles du subtest cubes du WISC et de la WAIS…
105
3° Le TAPA : utilisation d’une
procédure dynamique sur une
population spécifique
Hessels & Hessels-Schlatter, (2010)
Evaluation et intervention auprès d’élèves
en difficulté. Peter Lang
Chapitre 3 : Une évaluation plus fiable de la
capacité d’apprentissage des personnes
présentant une déficience intellectuelle
modérée à sévère (DIMS). (p. 35-50)
106
DIMS : QI < 50-55 => quelles capacités
d’apprentissage ?
« Les possibilités d’apprentissage des personnes
avec DIMS sont beaucoup plus importantes
qu’on ne le pense généralement »(p.37)
« De plus, tout comme les autres, elles ne forment
pas un groupe homogène, mais se différencient
selon leur capacité d’apprentissage »
=> Nécessité de disposer d’une évaluation fiable
et fidèle, adaptée à cette population et à cet
objectif = élaboration du TAPA (Test
d’Apprentissage de la Pensée Analogique)
107
Le TAPA (Test d’Apprentissage de la Pensée Analogique)
Objectif ? « distinguer les personnes
présentant une bonne capacité
d’apprentissage et qui sont susceptibles
de profiter d’une intervention cognitive ou
d’un enseignement académique poussé,
de celles dont la capacité d’apprentissage
est limitée » (p.40)
108
Dispositif TAPA ?
Le test est composé de matrices analogiques 2 X 2
3 étapes :
1) Phase de préapprentissage = s’assurer de la compréhension de la tâche, apprendre les bases de résolution…
2) Phase d’apprentissage durant laquelle l’examiné reçoit des aides standardisées et hiérarchiques
3) Phase de test : résolution des items de manière indépendante (passation classique d’une épreuve).
109
Indicateurs du TAPA ?
= le score obtenu en phase 3 (pas de mesure post test…idem démarche TEDE 6)
Les auteurs présentent les résultats de différentes recherches qui montrent que :
1° le TAPA permet de différencier plus précisément les capacités des personnes dont le QI est, sur un test classique, <60.
2° il permet de déceler les personnes dont le potentiel est sous estimé, qui peuvent ensuite, au moins une partie, développer leurs capacités à l’aide de programmes adaptés (les méthodes de remédiation cognitive…)
110
3° la validité prédictive du TAPA ne se
limite pas à la capacité d’apprentissage
dans le domaine du raisonnement inductif,
mais s’étend à d’autres compétences…
4°…cependant si les conditions
d’enseignement ne changent pas il y a
peu de chances pour que le potentiel se
réalise vraiment…
111
HART : utilisation d’une procédure
dynamique sur une population non
spécifique
Hessels & Hessels-Schlatter, (2010)
Evaluation et intervention auprès d’élèves
en difficulté. Peter Lang
Chapitre 4 : test HART
Utilisable de l’âge de 5 ans à l’âge adulte.
Dispositif d’analogies figuratives (//
Raven…)
112
Une phase d’entraînement (durée de 20 à 30
minutes) dans laquelle les personnes
apprennent à décrire et à verbaliser les attributs
qui changent entre les figures (extraction des
règles…) et à analyser les alternatives de
réponse (les distracteurs). Discussion en
groupe…
Une phase de test.
« Le HART permet de mieux différencier la
capacité d’apprentissage des élèves dont le
score à un test d’intelligence traditionnel est
faible » (P.63)
113
Exemple 4 : évaluer un P.A par
l’analyse des stratégies
• voir document SAMUEL 2011
114
115
116
117
118
L’analyse des erreurs au
subtest matrices du WISC DESTREBECQ Angèle (2012). Mémoire
DECOP
=> Principes
Résultats
Etude en cours (2013) avec K.Terriot et CIO
dans le cadre de l’OPPIO
119
120
Les items du RCC : exemple d’item Spatial S
121
Les items du RCC : exemple d’item Numérique N
122
Etape 1 : vérifier s’il existe-t-il des
différences inter individuelles sur le taux
de BRP selon les sujets ? comparer à niveau de
performance comparable (même scores)
Etape 2 : Calculer un score de Réussite
Partielle qui vient compléter le score RCC
et qui exprime un « potentiel » de
progression…(distance plus faible entre
une BRP et la BR)
Une recherche en cours
• Mémoire DECOP 2012/13 de Bonhoure,
Legendre, Grathwohl
• Élèves de 5ème, en difficulté scolaire
• Méthodologie de type test/retest (sans
apprentissage organisé) avec le test RCC
123
• 2 indicateurs du PA :
- le score de gain entre test 1 et test 2
(démarche de l’évaluation dynamique)
- le score RCC Potentiel au test 1
(l’approche de l’analyse des erreurs)
=> Ces deux indicateurs expriment-ils une
même réalité ??? Analyse des
corrélations…
124
