D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège 1 Métacognition

D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège 1

MétacognitionD'une définition opérationnelle à des pratiques en

1° Bac en psychologie

CDS 14 avril 2008

Amener l’étudiant à réfléchir à ses propres performances

D. Leclercq


• Après avoir lu des livres, des articles, et des définitions de la métacognition, nous avons beaucoup appris …

suite dia 8


John Flavell (1976, p.232) :

« La métacognition fait référence à la connaissance qu’on a de ses propres processus cognitifs et de leurs produits ou de ce qui leur est relié, par exemple, les propriétés différentes des informations ou des données pertinentes pour leur apprentissage. La métacognition se rapporte, entre autres choses, au contrôle actif, à la régulation et à l’orchestration de ces processus en fonction des objets cognitifs et des données sur lesquels ils portent, habituellement pour servir un objectif ou un but concret.»


Avant ou

après ?

« Brown (1978) constate que, pour les jeunes enfants, il s’avère plus difficile d’estimer leur réussite à une tâche avant qu’on la leur propose, plutôt qu’après qu’ils aient tenté d’y apporter une réponse. Brown et Lawton attribuent cette difficulté …au niveau d’abstraction qu’une telle prédiction nécessite. Prédire avant de répondre repose sur la capacité d’imaginer un produit non encore réalisé…Quand on demande à des enfants d’âge préscolaire , de 2° et de 4° années, d’estimer l’étendue de leur mémorisation, on observe chez les plus jeunes une surestimation du nombre d’items dont ils pourront se rappeler….Les résultats [de Brown] indiquent que les enfants deviennent plus conscients de la difficulté d’une tâche au fur et à mesure qu’ils progressent en maturité…[…] Les jeunes enfants éprouvent beaucoup de difficultés à apprécier s’ils connaissent assez le matériel pour le restituer intégralement si on le leur demandait.» (Noël, 1991, p. 25).

Bernadette Noel (FUCAM) Ann Brown (Berkeley)

JOL = Judgement Of Learning


« Le Feeling of Knowing (FOK) consiste à « demander au sujet un jugement après son échec en rappel sur la probabilité de reconnaître la réponse correcte » (Nhouyvanisvong & Reder, 1998).

• La consigne est du type : « Vous êtes dans l’impossibilité de vous rappeler du nom de….(de vous souvenir des traits du visage de..) Quelle est votre probabilité de le(s) reconnaître parmi une liste de noms (de photos) que l’on vous présenterait ? ».

• Cette consigne, on le voit, fait suite à une erreur par omission. Elle pourrait aussi être appliquée, mutatis mutandis, après une erreur par commission (fournir une réponse incorrecte).

Asher KORIAT(Tel Aviv)

»Le FOK est basé sur la quantité totale d’information partielle accessible à propos du contenu-cible et sur la facilité avec laquelle elle vient à l’esprit » (Koriat, 1998, p.16). Cette situation est à rapprocher très fort du phénomène du Tip Of the Tongue ou TOT (Je l’ai sur le bout de la langue) ».

(Leclercq, 2007-2008, p. 224).


ACQUISITION MEMORISATION RAPPEL REPONSE

EOLEase of Learning

Facilité à apprendreFAA

JOLJudgement of

LearningJugement d’avoir

apprisJAA

FOKFeeling of Knowing

Sentiment de Savoir Reconnaître

SSR

DCDegree of CertaintyDegré de Certitude

dans la réponse rappelée

DC

Sélection du traitement (de la méthode) pour

apprendre

Décision de la durée

d’étude

Arrêt de

l’étudeChoix de la stratégie de recherche

en mémoire

Arrêt de la

rechercheen mémoire

Jugement du degré de

maîtrise nécessaire

Théorie personnelle

sur la rétention et

l’oubli

Avant pendant après

Mo

nit

ori

ng

O

bse

rvat

ion

Co

ntr

ol

Act

ion

Th. O. Nelson & L. Narens

Metamemory


Bruno De Finetti (1965)Methods of discriminating levels

of partial knowledge concerning a test item

Brit. Journ. of Math. & Statist. Psychol., 1965, 18, 87-123.

La connaisance partielle :

….et de mesure des gains d’apprentissage.

• La connaissance partielle existe.La détecter est nécessaire et faisable (p. 109)

• Seule la probabilité subjective peut donner une signification objective à toute réponse et toute méthode de notation (p. 111)


…et nous nous sommes donnés une définition qui intègre plusieurs de ces travaux.


MétacognitionDéfinition de

D. Leclercq et M. Poumay (2005, 2008)

Un ensemble • d’opérations (jugement, analyse, régulation)• sur des objets (SES processus ou SES productions)• à certains moments (PRE – PER –POST)• de situations (d’apprentissage ou d’évaluation) • observables via des performances (comportements ou conduites

Leclercq et Poumay (2008) La métacognition. chap 6 de D. Leclercq. Psychologie éducationnelle. CIFEN. Editions de l’Université de Liège


Représentation de trois opérations de la métacognition

Non expriméecovert

Expriméeovert

Jugement Analyse Régulation


Facettes de la métacognition

PRE PER POST

Jugement

Analyse

Régulation


Facettes de la métacognition

PRE PER POST

Jugement

Analyse

Régulation

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit


• On peut illustrer l’intérêt de la grille en essayant de classer diverses situations.

saut à la dia 22


Au vu de mes résultats, ma stratégie de réponse à ce test

a été mauvaise. PRE PER POST

Jugement

Analyse

Régulation

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit


Au vu de mes résultats, ma stratégie de réponse à ce test

a été mauvaise. PRE PER POST

Jugement

Analyse

Régulation

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit


A ma réponse de la question 4, je donne le Degré de Certitude 80%,

on verra bien si j’ai raison.

PRE PER POST

Jugement

Analyse

Régulation

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit


A ma réponse de la question 4, je donne le Degré de Certitude 80%,

on verra bien si j’ai raison.

PRE PER POST

Jugement

Analyse

Régulation

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit


Maintenant que je connais la réponse attendue, je me rends compte que

PRE PER POST

Jugement

Analyse

Régulation

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

j’ai lu trop peu attentivement et que je n’ai pas détecté « toujours » qui excluait certaines solutions.


Maintenant que je connais la réponse attendue, je me rends compte que

PRE PER POST

Jugement

Analyse

Régulation

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

j’ai lu trop peu attentivement et que je n’ai pas détecté « toujours » qui excluait certaines solutions.


Pour l’examen du mois prochain,

je vais changer ……. ma méthode de travail.

PRE PER POST

Jugement

Analyse

Régulation

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit


Pour l’examen du mois prochain,

je vais changer ……. ma méthode de travail.

PRE PER POST

Jugement

Analyse

Régulation

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit

ProcessusProduit


Noël (1991, p.13) : « Ce n’est que lorsqu’ils sont avertis de l’existence d’un problème …que les enfants améliorent leurs résultats »


RESSAC 2000

• En janvier 2000, les étudiants de 1° Bac psycho ont reçu pour 4 des examens

• -un score de CONNAISSANCES

• -un score de COMPREHENSION

et leur positionnement par rapport à la classe.


RESSAC

• Resultats d’

• Epreuves

• Standardisées au

• Service de l’

• Apprentissage en

• Candi

Connaissance

CompréhensionD. Leclercq (Ed) (2003, p. 155-170)


• Certains étudiants ont changé (1) leur méthode de travail, d’autres NON.

• Les taux de réussite sont contrastés dans les deux groupes, et ce pour chacun des ‘ cours.

(1) Déclarations faites aux questionnaires de juin et de septembre


Taux de réussite ces l’examen

28

32

9

48

7

43

56

22

55

23

0

10

20

30

40

50

60

Total 99-105 Leclercq 28-34 Mormont 23-27 Brédart 33-31 Crahay 15-13

Tau

x d

e r

éu

ss

ite

%R sans

%R avec

N’ont pas changé

Ont changé de méthode d’étude


Cette opération RESSAC est décrite dans le chapitre 8 (pp. 155 à 170) de Leclercq (2003) Diagnostic cognitif et métacognitif au seuil de l’université.


RESSAC est une opération de régulation PRE examen de juin (mais POST de janvier)

PRE PER POST

Jugement

Analyse

Régulation


Une tout autre approche, plus micro

• Les étudiants doivent donner un degré de certitude pour chacune de leurs réponses

• Les degrés possibles sont :

0 20 40 60 80 100%

• On les y entraîne pendant l’année

• Après chaque test (y compris à l’examen), il y a communication immédiate des réponses, avec DEBAT.


Facettes de la métacognitionPRE PER POST

Jugement

Analyse

Régulation

0 20 40 60 80 100%


Les Degrés de Certitude

Selon Robert Ebel (1965), « C’est un mode de réponse spécial aux questions d’un test objectif et un mode spécial de cotation de ces réponses. En bref, le sujet doit indiquer non seulement ce qu’il croit être la réponse correcte à la question, mais aussi quelle est sa certitude (comment ? ) dans l’exactitude de sa réponse. Au moment de la cotation (comment ? ) , le sujet reçoit plus de points pour une réponse correcte avec certitude que pour une réponse accompagnée d’un doute. Mais a pénalisation d’une réponse incorrecte avec certitude est suffisamment lourde pour décourager les déclarations de confiance non fondées. » (cité par Leclercq, 1983, p.163). (pour quoi faire ?)


Feedback possible quand les étudiants ont donné des Degrés de Certitude

• Les qualités des réponses se répartissent sur un SPECTRE de QUALITES,

• Allant de -100 (la pire des qualités) : erreur avec certitude 100

• À +100 (la meilleure des qualités) : Réponse Correcte avec certitude 100

• On peut facilement repérer, dans le feedback donné à chaque étudiant, ses points les plus forts et les plus faibles, les plus urgents à corriger


Spectre des Qualités des performance

• On peut calculer la Confiance (Certitude moyenne avec les réponses correctes),

• l’Imprudence (certitude moyenne avec les incorrectes)

• Et la Nuance (différence entre les deux)• On peut attribuer des points supplémentaires

(bonus métacognitifs) pour valoriser la Confiance et la Prudence …si l’étudiant a donné un minimum de certitudes


24/09/2003 PPUQ Chap 3 et 4 p. 66 à 80 Pré : 6. Aucune 7. Toutes Q C 8. Manque 9. Absurdité

100 80 60 40 20 0 1 T.S. Eliot a dit "Where is information lost in……" 1. affairs 2. knowledge 3. life 4. wiseness 5. men

0 20 40 60 80 100

100 80 60 40 20 0 2 L'unité d'information proposée par Shannon est 1. le volt 2. Le mot 3. le caractère 4. la syllabe 5. la lettre

0 20 40 60 80 100

100 80 60 40 20 0 3 Utiliser un ordinateur pour produire des textes touche des compétences 1. spécifiques (disciplinaires) 2. démultiplicatrices (instrumentales) 3. stratégiques (auto-cognitives) 4. dynamiques (motivationnelles)

0 20 40 60 80 100

100 80 60 40 20 0 4 L'architecture des compétences en 4 paliers superposés est comparée par leclercq à 1. un véhicule (un avion) 2. un animal (un insecte) 3. un outil (une mâche de foreuse) 4. Un jouet (un cerf-volant)

0 20 40 60 80 100

Test spectral avec zones de notations métacognitives

40%OK

40%FAUX

Aucune

Manque 80%OK

60%

C’est le mot « data » que je n’ai pas compris ni retenu.

Je n’avais pas étudié cette note de bas de page.

C’est au cours oral et non dans le livre que cela a été dit.

OK

Imprudence : Confiance : 40% 60%


Entraînement pour l’examen

Novembre 2007

Octobre 2007

Décembre 2007

Janvier 2008

Analyse métacognitive des 3 tests formatifs


Analyse Métacognitive par Sylvie L. (Examen du14 janvier 2008)

A la Question B3, je me suis trompée avec 100% parce que j’ai mal lu la question :j’ai reconnu des mots-clés, mais ils étaient utilisés autrement que dans le livre et j’ai répondu trop vite. Pour les questions B7 et B16, je me suis trompée avec 60% car j’ avais mal étudié la théorie, que j’avais comprise de travers. J’aurais dû m’en assurer en posant des questions au cours.

A la Question C9, l’absurdité était flagrante. Je n’ai pourtant émis qu’une confiance à 40% car en secondaire la question du professeur ne pouvait comporter d’erreur.

Nom de l’épreuve Nbre de questions

Nbre de rép correctes

Confiance Imprudence

A -octobre 2007 24 17 (71%) 71% 71% B – novembre 2007 20 12 (60%) 65% 52% C - décembre 2007. 14 7 (50%) 57% 54% D. Examen 2008 30 26 (87%) 60% 40% Analyse : Donnez des exemples où votre certitude était forte

alors que vous vous trompiez. Et une explication.

Analyse : Donnez des exemples où votre certitude était faible alors que vous aviez la réponse correcte. Et une explication.


Quel impact sur votre façon d’étudier ?

Je n’ai pas encore pu voir les résultats de ma nouvelle méthode d’étude, l’examen sera la preuve qu’elle fonctionne ou non. J’ai décidé de ne plus tout résumer mais plutôt d’essayer de tout lire et de tout comprendre.

Il ne faut pas se baser sur le fait que l’examen est a livre ouvert car même si nous avons l’occasion de feuilleter le livre et le syllabus Durant l’interrogation, nous n’avons pas le temps de tout comprendre, il faut l’avoir fait avant.


Quel impact sur votre façon de répondre à ce genre de test ? A présent, pour éviter de me concentrer uniquement sur les propositions de réponses et de chercher la plus plausible, avant même de lire les réponses proposées je cherche ma propre solution. Cela me permet de détecter plus facilement les absurdité et les manques et de voir si toutes ou même aucune réponse n’est correcte.

Ces examens blancs m’ont fait prendre conscience qu’une question doit être lue en profondeur, voir même lue plusieurs fois avant de vouloir lui donner une réponse.

Ces trois tests m’ont permis d’apprendre à mieux gérer mes degrés de certitude. Lorsqu’une réponse me paraît acceptable mais que je ne me souviens pas de la matière, j’ai compris que je ne dois pas mettre une confiance élevée ou celle-ci risquerait de se transformer en imprudence.

Et sur votre façon de gérer votre certitude ?


Vue plus complète : PRE PER POST

Jugement

Analyse

Régulation

0 20 40 60 80 100%


Quelques référencesReach, G. , Zerrouki A., Leclercq , D. d’Ivernois, JF. (2005). Adjusting insulin

doses : from knowledge to decision. Patient Education and Counseling., 56, 98-103.

Leclercq, D. et Poumay,M. (2004) Une définition opérationnelle de la Métacognition et ses mises en œuvre, XXI° Colloque de l’AIPU, Marrakech

Brutomesso, D., Gagnayre, R., Leclercq, D., Crazzola, D., Busata, E., d’Ivernois, JF., Casiglia, E, Tiengo, A. & Baritussio, A. (2003) The use of degrees of certainty to evaluate knowledge. Patient Education and Counseling, 51, 29-37.

Leclercq, D. (2003) Diagnostic cognitif et métacognitif au seuil de l’université. Le projet MOHICAN mené par les 9 universités de la Communauté Française, CIUF – Editions de l’ULg.

Leclerq, D. (2008) A la recherche de la triple concordance Objectifs – Méthodes - Evaluation. IFRES – ULG.

Leclercq, D. & Poumay, M. (2004) Metacognitive indices of realism in self assessment. ww.labset.net/media/prod/Metacognitive_indices_of_realism_in_self_assessment.pdf

http://www.labset.net/media/prod/Metacognitive_indices_of_realism_in_self_assessment.pdf


Annexes : - le projet MOHICAN et l’auto-évaluation- exemple de feedback automatisé- le barème actuel d’attribution de points

(Leclercq- Poumay, Castaigne)


Les questions auxquelles MOHICAN a répondu


Les Questions auxquelles MOHICAN a répondu :

• Les filles se surestiment-elles ? • Les garçons se surestiment-ils ? • Le réalisme (sur et sous-estimations) varie-t-il selon les contenus

chez une même personne ? Ou y a-t-il une tendance stable caractéristique de chaque personne ?

• Le réalisme est-il prédictif de la réussite ou de l »’échec académique ?

• Certaines matières (math ? Vocabulaire ? ) entraînent-elles plus de sur ou de sous-estimations que d’autres ?

• Le réalisme s’apprend-il ? • Le réalisme donne-t-il des informations intéressantes sur

l’analyse des questions ? • Le feedback externe (objectif) améliore-t-il la performance ? • La métacognition interne améliore-t-elle la performance ?


Exemple de feedback personnalisé inspiré de MOHICAN

(en 1° bac psycho)




« Plus » métacognitifsSi CONFIANCE >50%, +0,5>60%, +1>70%, +1,5

Si IMPRUDENCE<50%, + 0,5<45%, +1<40%, +1,5

Score classique

Par Réponse Correcte : + 1Par Réponse Incorrecteou par Omission : -0,25

On transforme le totalSur 20 points.

Puis, si le taux d’omissions ou de certitudes 0 est <20%,alors

Barème Leclercq-Poumay-Castaigne

Documents

D. Leclercq (2008) La métacognition : D'une définition opérationnelle à des pratiques en 1° Bac en psychologie. CDS Université de Liège 1 Métacognition