Upload
others
View
2
Download
0
Embed Size (px)
Citation preview
Les ECNi bilan de la 1deg eacutepreuve les diffeacuterences en 2017
Pr Claire LE JEUNNE Chef du service de meacutedecine interne Cochin Membre du Conseil Scientifique de lrsquointernat DIU de peacutedagogie meacutedicale 20 janvier 2017
POURQUOI CETTE REFORME
Pourquoi la reacuteforme
bull Un classement non discriminant aux ECN 2012 7658 eacutetudiants ont eacuteteacute classeacutes dans 350 points entiers (3500 au deacutebut des ECN)
bull Une logistique de plus en plus lourde et couteuse 400 correcteurs sur 3 semaines ( 400 000 euros)
bull Une docimologie limiteacutee et contrainte 110 items abordeacutes sur les 360 du programme
rarr il eacutetait indispensable de se libeacuterer de la correction manuelle et de diversifier les eacutepreuves
Les attentes de la reacuteforme
bull ameacuteliorer la pertinence du classement
bull simplifier la logistique actuelle
bull diversifier les eacutepreuves
bull harmoniser les chances de reacuteussite
Qursquoa-t-on proposeacute
ECN i simplifier la logistique et diversifier les eacutepreuves
bull Les ECN informatiseacutees ou ECN i
eacutepreuves reacutealiseacutees sur support numeacuterique avec correction automatique
bull Le choix du support numeacuterique crsquoest porteacute sur des tablettes tactiles
Les moyens
Les eacutetudiants ndash dans leur universiteacute respective
ndash composent les eacutepreuves nationales communes simultaneacutement
ndash sur un support informatique standardiseacute
bull Grace agrave lrsquoaide des TICE (Technologies de lInformation et de la Communication pour lEnseignement)
bull Epreuves geacutereacutees par le Centre National de Gestion CNG
SIDES outil de preacuteparation des eacutetudiants aux ECN partageacute par toutes les faculteacutes
bull SIDES est une plate-forme numeacuterique nationale distribueacutee dans toutes les Faculteacutes deacutedieacutee agrave leacutevaluation en ligne
bull constitue une base de donneacutees docimologiques nationale dentraicircnement ouverte depuis novembre 2013
bull il sagit dun outil facultaire destineacute agrave ndash Lrsquoentrainement des eacutetudiants ndash la reacutealisation dexamens validant informatiseacutes dans
les UFR ndash La preacuteparation des eacutetudiants aux ECNi
Objectifs peacutedagogiques de la base
Tester
1 des connaissances factuelles
2 la capaciteacute agrave reacutesoudre des problegravemes cliniques simples
3 la capaciteacute agrave reacutesoudre des problegravemes cliniques complexes dans des situations drsquoincertitude
nb Les connaissances et compeacutetences eacutevalueacutees restent inchangeacutees
Points forts attendus
bull Diversification des contenus ( intelligences diffeacuterentes) plus de chance pour tous
bull Valorisation de lrsquoapprentissage clinique en stage souhait de nombreuses images et illustrations
bull Correction automatique des eacutepreuves
Diversification des eacutepreuves
1 des dossiers cliniques progressifs (DCP)
2 des questions isoleacutees (QI) ndash QRU (Question agrave Reacuteponse Unique)
ndash QRM (Questions agrave Reacuteponses Multiples)
3 Une eacutepreuve de LCA ( 2 articles) sans le reacutesumeacute les articles sont en anglais agrave partir de 2017
bull A venir rentreacutee 2017 pour concours 2020 ndash Tests de concordance de script ou TCS
Comment preacuteparer les eacutetudiants de DFASM
bull chaque faculteacute de meacutedecine slsquoest eacutequipeacutee dune plate-forme informatique commune deacutedieacutee agrave leacutevaluation et agrave la preacuteparation aux ECN
bull Cet outil sintitule SIDES (Systegraveme Informatique Distribueacute drsquoEacutevaluation en Santeacute)
bull Chaque Faculteacute est en mesure via sa plate-forme SIDES dassurer des examens informatiseacutes utilisables tout au long du cursus meacutedical
Lien entre Banque locale et nationale
bull Chaque Universiteacute est inviteacutee agrave soumettre au niveau national des questions et dossiers valideacutes obligatoirement
bull Objectif constituer une base de donneacutees docimologique nationale valideacutee mise agrave la disposition des eacutetudiants comme support national drsquoentraicircnement
Adaptation de la docimologie
bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)
bull A Paris Descartes les eacutetudiants de DFASM3 sont entraineacutes agrave partir du DFASM1
bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard
SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions
Rocircle des experts
bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet
bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)
bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees
Liens entre SIDES et ECNI
bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)
Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves
bull 70 de la note sur les DP
bull 20 de la note sur les QI
bull 10 de la note sur la LCA
Les ECNi seront organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves
Le baregraveme total est sur 10 000 points
bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP
bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI
bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017
La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero
Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question
Exemple de discordance Parmi les pathologies osseuses suivantes quelles sont celles qui peuvent ecirctre des complications de la corticotheacuterapie
bull Propositions et reacuteponses attendues
A Osteacuteoporose times
B Coxarthrose
C Neacutecrose de la tecircte feacutemorale times
D Osteacuteosarcome
E Osteacuteomalacie
Reacuteponse de lrsquoeacutetudiant
times
1 discordance
times 2 discordances
Reacutesultat 02 point
bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2017
bull Les faculteacutes drsquoIle de France organisent un concours blanc reacutegional un a eu lieu en deacutecembre
bull Chaque faculteacute en organise eacutegalement un
Comment construire un dossier
bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales
bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales
bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche
Contraintes docimologiques
bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5
bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre
construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2
bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier
ndash Contraintes sur les dossiers LCA (DLCA)
les mecircmes que pour les DCP
Les premiegraveres ECNi Impacts amp perspectives
16 Deacutecembre 2016 Olivier Palombi
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
POURQUOI CETTE REFORME
Pourquoi la reacuteforme
bull Un classement non discriminant aux ECN 2012 7658 eacutetudiants ont eacuteteacute classeacutes dans 350 points entiers (3500 au deacutebut des ECN)
bull Une logistique de plus en plus lourde et couteuse 400 correcteurs sur 3 semaines ( 400 000 euros)
bull Une docimologie limiteacutee et contrainte 110 items abordeacutes sur les 360 du programme
rarr il eacutetait indispensable de se libeacuterer de la correction manuelle et de diversifier les eacutepreuves
Les attentes de la reacuteforme
bull ameacuteliorer la pertinence du classement
bull simplifier la logistique actuelle
bull diversifier les eacutepreuves
bull harmoniser les chances de reacuteussite
Qursquoa-t-on proposeacute
ECN i simplifier la logistique et diversifier les eacutepreuves
bull Les ECN informatiseacutees ou ECN i
eacutepreuves reacutealiseacutees sur support numeacuterique avec correction automatique
bull Le choix du support numeacuterique crsquoest porteacute sur des tablettes tactiles
Les moyens
Les eacutetudiants ndash dans leur universiteacute respective
ndash composent les eacutepreuves nationales communes simultaneacutement
ndash sur un support informatique standardiseacute
bull Grace agrave lrsquoaide des TICE (Technologies de lInformation et de la Communication pour lEnseignement)
bull Epreuves geacutereacutees par le Centre National de Gestion CNG
SIDES outil de preacuteparation des eacutetudiants aux ECN partageacute par toutes les faculteacutes
bull SIDES est une plate-forme numeacuterique nationale distribueacutee dans toutes les Faculteacutes deacutedieacutee agrave leacutevaluation en ligne
bull constitue une base de donneacutees docimologiques nationale dentraicircnement ouverte depuis novembre 2013
bull il sagit dun outil facultaire destineacute agrave ndash Lrsquoentrainement des eacutetudiants ndash la reacutealisation dexamens validant informatiseacutes dans
les UFR ndash La preacuteparation des eacutetudiants aux ECNi
Objectifs peacutedagogiques de la base
Tester
1 des connaissances factuelles
2 la capaciteacute agrave reacutesoudre des problegravemes cliniques simples
3 la capaciteacute agrave reacutesoudre des problegravemes cliniques complexes dans des situations drsquoincertitude
nb Les connaissances et compeacutetences eacutevalueacutees restent inchangeacutees
Points forts attendus
bull Diversification des contenus ( intelligences diffeacuterentes) plus de chance pour tous
bull Valorisation de lrsquoapprentissage clinique en stage souhait de nombreuses images et illustrations
bull Correction automatique des eacutepreuves
Diversification des eacutepreuves
1 des dossiers cliniques progressifs (DCP)
2 des questions isoleacutees (QI) ndash QRU (Question agrave Reacuteponse Unique)
ndash QRM (Questions agrave Reacuteponses Multiples)
3 Une eacutepreuve de LCA ( 2 articles) sans le reacutesumeacute les articles sont en anglais agrave partir de 2017
bull A venir rentreacutee 2017 pour concours 2020 ndash Tests de concordance de script ou TCS
Comment preacuteparer les eacutetudiants de DFASM
bull chaque faculteacute de meacutedecine slsquoest eacutequipeacutee dune plate-forme informatique commune deacutedieacutee agrave leacutevaluation et agrave la preacuteparation aux ECN
bull Cet outil sintitule SIDES (Systegraveme Informatique Distribueacute drsquoEacutevaluation en Santeacute)
bull Chaque Faculteacute est en mesure via sa plate-forme SIDES dassurer des examens informatiseacutes utilisables tout au long du cursus meacutedical
Lien entre Banque locale et nationale
bull Chaque Universiteacute est inviteacutee agrave soumettre au niveau national des questions et dossiers valideacutes obligatoirement
bull Objectif constituer une base de donneacutees docimologique nationale valideacutee mise agrave la disposition des eacutetudiants comme support national drsquoentraicircnement
Adaptation de la docimologie
bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)
bull A Paris Descartes les eacutetudiants de DFASM3 sont entraineacutes agrave partir du DFASM1
bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard
SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions
Rocircle des experts
bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet
bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)
bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees
Liens entre SIDES et ECNI
bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)
Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves
bull 70 de la note sur les DP
bull 20 de la note sur les QI
bull 10 de la note sur la LCA
Les ECNi seront organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves
Le baregraveme total est sur 10 000 points
bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP
bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI
bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017
La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero
Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question
Exemple de discordance Parmi les pathologies osseuses suivantes quelles sont celles qui peuvent ecirctre des complications de la corticotheacuterapie
bull Propositions et reacuteponses attendues
A Osteacuteoporose times
B Coxarthrose
C Neacutecrose de la tecircte feacutemorale times
D Osteacuteosarcome
E Osteacuteomalacie
Reacuteponse de lrsquoeacutetudiant
times
1 discordance
times 2 discordances
Reacutesultat 02 point
bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2017
bull Les faculteacutes drsquoIle de France organisent un concours blanc reacutegional un a eu lieu en deacutecembre
bull Chaque faculteacute en organise eacutegalement un
Comment construire un dossier
bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales
bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales
bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche
Contraintes docimologiques
bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5
bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre
construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2
bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier
ndash Contraintes sur les dossiers LCA (DLCA)
les mecircmes que pour les DCP
Les premiegraveres ECNi Impacts amp perspectives
16 Deacutecembre 2016 Olivier Palombi
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Pourquoi la reacuteforme
bull Un classement non discriminant aux ECN 2012 7658 eacutetudiants ont eacuteteacute classeacutes dans 350 points entiers (3500 au deacutebut des ECN)
bull Une logistique de plus en plus lourde et couteuse 400 correcteurs sur 3 semaines ( 400 000 euros)
bull Une docimologie limiteacutee et contrainte 110 items abordeacutes sur les 360 du programme
rarr il eacutetait indispensable de se libeacuterer de la correction manuelle et de diversifier les eacutepreuves
Les attentes de la reacuteforme
bull ameacuteliorer la pertinence du classement
bull simplifier la logistique actuelle
bull diversifier les eacutepreuves
bull harmoniser les chances de reacuteussite
Qursquoa-t-on proposeacute
ECN i simplifier la logistique et diversifier les eacutepreuves
bull Les ECN informatiseacutees ou ECN i
eacutepreuves reacutealiseacutees sur support numeacuterique avec correction automatique
bull Le choix du support numeacuterique crsquoest porteacute sur des tablettes tactiles
Les moyens
Les eacutetudiants ndash dans leur universiteacute respective
ndash composent les eacutepreuves nationales communes simultaneacutement
ndash sur un support informatique standardiseacute
bull Grace agrave lrsquoaide des TICE (Technologies de lInformation et de la Communication pour lEnseignement)
bull Epreuves geacutereacutees par le Centre National de Gestion CNG
SIDES outil de preacuteparation des eacutetudiants aux ECN partageacute par toutes les faculteacutes
bull SIDES est une plate-forme numeacuterique nationale distribueacutee dans toutes les Faculteacutes deacutedieacutee agrave leacutevaluation en ligne
bull constitue une base de donneacutees docimologiques nationale dentraicircnement ouverte depuis novembre 2013
bull il sagit dun outil facultaire destineacute agrave ndash Lrsquoentrainement des eacutetudiants ndash la reacutealisation dexamens validant informatiseacutes dans
les UFR ndash La preacuteparation des eacutetudiants aux ECNi
Objectifs peacutedagogiques de la base
Tester
1 des connaissances factuelles
2 la capaciteacute agrave reacutesoudre des problegravemes cliniques simples
3 la capaciteacute agrave reacutesoudre des problegravemes cliniques complexes dans des situations drsquoincertitude
nb Les connaissances et compeacutetences eacutevalueacutees restent inchangeacutees
Points forts attendus
bull Diversification des contenus ( intelligences diffeacuterentes) plus de chance pour tous
bull Valorisation de lrsquoapprentissage clinique en stage souhait de nombreuses images et illustrations
bull Correction automatique des eacutepreuves
Diversification des eacutepreuves
1 des dossiers cliniques progressifs (DCP)
2 des questions isoleacutees (QI) ndash QRU (Question agrave Reacuteponse Unique)
ndash QRM (Questions agrave Reacuteponses Multiples)
3 Une eacutepreuve de LCA ( 2 articles) sans le reacutesumeacute les articles sont en anglais agrave partir de 2017
bull A venir rentreacutee 2017 pour concours 2020 ndash Tests de concordance de script ou TCS
Comment preacuteparer les eacutetudiants de DFASM
bull chaque faculteacute de meacutedecine slsquoest eacutequipeacutee dune plate-forme informatique commune deacutedieacutee agrave leacutevaluation et agrave la preacuteparation aux ECN
bull Cet outil sintitule SIDES (Systegraveme Informatique Distribueacute drsquoEacutevaluation en Santeacute)
bull Chaque Faculteacute est en mesure via sa plate-forme SIDES dassurer des examens informatiseacutes utilisables tout au long du cursus meacutedical
Lien entre Banque locale et nationale
bull Chaque Universiteacute est inviteacutee agrave soumettre au niveau national des questions et dossiers valideacutes obligatoirement
bull Objectif constituer une base de donneacutees docimologique nationale valideacutee mise agrave la disposition des eacutetudiants comme support national drsquoentraicircnement
Adaptation de la docimologie
bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)
bull A Paris Descartes les eacutetudiants de DFASM3 sont entraineacutes agrave partir du DFASM1
bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard
SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions
Rocircle des experts
bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet
bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)
bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees
Liens entre SIDES et ECNI
bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)
Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves
bull 70 de la note sur les DP
bull 20 de la note sur les QI
bull 10 de la note sur la LCA
Les ECNi seront organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves
Le baregraveme total est sur 10 000 points
bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP
bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI
bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017
La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero
Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question
Exemple de discordance Parmi les pathologies osseuses suivantes quelles sont celles qui peuvent ecirctre des complications de la corticotheacuterapie
bull Propositions et reacuteponses attendues
A Osteacuteoporose times
B Coxarthrose
C Neacutecrose de la tecircte feacutemorale times
D Osteacuteosarcome
E Osteacuteomalacie
Reacuteponse de lrsquoeacutetudiant
times
1 discordance
times 2 discordances
Reacutesultat 02 point
bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2017
bull Les faculteacutes drsquoIle de France organisent un concours blanc reacutegional un a eu lieu en deacutecembre
bull Chaque faculteacute en organise eacutegalement un
Comment construire un dossier
bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales
bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales
bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche
Contraintes docimologiques
bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5
bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre
construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2
bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier
ndash Contraintes sur les dossiers LCA (DLCA)
les mecircmes que pour les DCP
Les premiegraveres ECNi Impacts amp perspectives
16 Deacutecembre 2016 Olivier Palombi
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Les attentes de la reacuteforme
bull ameacuteliorer la pertinence du classement
bull simplifier la logistique actuelle
bull diversifier les eacutepreuves
bull harmoniser les chances de reacuteussite
Qursquoa-t-on proposeacute
ECN i simplifier la logistique et diversifier les eacutepreuves
bull Les ECN informatiseacutees ou ECN i
eacutepreuves reacutealiseacutees sur support numeacuterique avec correction automatique
bull Le choix du support numeacuterique crsquoest porteacute sur des tablettes tactiles
Les moyens
Les eacutetudiants ndash dans leur universiteacute respective
ndash composent les eacutepreuves nationales communes simultaneacutement
ndash sur un support informatique standardiseacute
bull Grace agrave lrsquoaide des TICE (Technologies de lInformation et de la Communication pour lEnseignement)
bull Epreuves geacutereacutees par le Centre National de Gestion CNG
SIDES outil de preacuteparation des eacutetudiants aux ECN partageacute par toutes les faculteacutes
bull SIDES est une plate-forme numeacuterique nationale distribueacutee dans toutes les Faculteacutes deacutedieacutee agrave leacutevaluation en ligne
bull constitue une base de donneacutees docimologiques nationale dentraicircnement ouverte depuis novembre 2013
bull il sagit dun outil facultaire destineacute agrave ndash Lrsquoentrainement des eacutetudiants ndash la reacutealisation dexamens validant informatiseacutes dans
les UFR ndash La preacuteparation des eacutetudiants aux ECNi
Objectifs peacutedagogiques de la base
Tester
1 des connaissances factuelles
2 la capaciteacute agrave reacutesoudre des problegravemes cliniques simples
3 la capaciteacute agrave reacutesoudre des problegravemes cliniques complexes dans des situations drsquoincertitude
nb Les connaissances et compeacutetences eacutevalueacutees restent inchangeacutees
Points forts attendus
bull Diversification des contenus ( intelligences diffeacuterentes) plus de chance pour tous
bull Valorisation de lrsquoapprentissage clinique en stage souhait de nombreuses images et illustrations
bull Correction automatique des eacutepreuves
Diversification des eacutepreuves
1 des dossiers cliniques progressifs (DCP)
2 des questions isoleacutees (QI) ndash QRU (Question agrave Reacuteponse Unique)
ndash QRM (Questions agrave Reacuteponses Multiples)
3 Une eacutepreuve de LCA ( 2 articles) sans le reacutesumeacute les articles sont en anglais agrave partir de 2017
bull A venir rentreacutee 2017 pour concours 2020 ndash Tests de concordance de script ou TCS
Comment preacuteparer les eacutetudiants de DFASM
bull chaque faculteacute de meacutedecine slsquoest eacutequipeacutee dune plate-forme informatique commune deacutedieacutee agrave leacutevaluation et agrave la preacuteparation aux ECN
bull Cet outil sintitule SIDES (Systegraveme Informatique Distribueacute drsquoEacutevaluation en Santeacute)
bull Chaque Faculteacute est en mesure via sa plate-forme SIDES dassurer des examens informatiseacutes utilisables tout au long du cursus meacutedical
Lien entre Banque locale et nationale
bull Chaque Universiteacute est inviteacutee agrave soumettre au niveau national des questions et dossiers valideacutes obligatoirement
bull Objectif constituer une base de donneacutees docimologique nationale valideacutee mise agrave la disposition des eacutetudiants comme support national drsquoentraicircnement
Adaptation de la docimologie
bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)
bull A Paris Descartes les eacutetudiants de DFASM3 sont entraineacutes agrave partir du DFASM1
bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard
SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions
Rocircle des experts
bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet
bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)
bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees
Liens entre SIDES et ECNI
bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)
Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves
bull 70 de la note sur les DP
bull 20 de la note sur les QI
bull 10 de la note sur la LCA
Les ECNi seront organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves
Le baregraveme total est sur 10 000 points
bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP
bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI
bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017
La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero
Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question
Exemple de discordance Parmi les pathologies osseuses suivantes quelles sont celles qui peuvent ecirctre des complications de la corticotheacuterapie
bull Propositions et reacuteponses attendues
A Osteacuteoporose times
B Coxarthrose
C Neacutecrose de la tecircte feacutemorale times
D Osteacuteosarcome
E Osteacuteomalacie
Reacuteponse de lrsquoeacutetudiant
times
1 discordance
times 2 discordances
Reacutesultat 02 point
bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2017
bull Les faculteacutes drsquoIle de France organisent un concours blanc reacutegional un a eu lieu en deacutecembre
bull Chaque faculteacute en organise eacutegalement un
Comment construire un dossier
bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales
bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales
bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche
Contraintes docimologiques
bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5
bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre
construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2
bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier
ndash Contraintes sur les dossiers LCA (DLCA)
les mecircmes que pour les DCP
Les premiegraveres ECNi Impacts amp perspectives
16 Deacutecembre 2016 Olivier Palombi
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
ECN i simplifier la logistique et diversifier les eacutepreuves
bull Les ECN informatiseacutees ou ECN i
eacutepreuves reacutealiseacutees sur support numeacuterique avec correction automatique
bull Le choix du support numeacuterique crsquoest porteacute sur des tablettes tactiles
Les moyens
Les eacutetudiants ndash dans leur universiteacute respective
ndash composent les eacutepreuves nationales communes simultaneacutement
ndash sur un support informatique standardiseacute
bull Grace agrave lrsquoaide des TICE (Technologies de lInformation et de la Communication pour lEnseignement)
bull Epreuves geacutereacutees par le Centre National de Gestion CNG
SIDES outil de preacuteparation des eacutetudiants aux ECN partageacute par toutes les faculteacutes
bull SIDES est une plate-forme numeacuterique nationale distribueacutee dans toutes les Faculteacutes deacutedieacutee agrave leacutevaluation en ligne
bull constitue une base de donneacutees docimologiques nationale dentraicircnement ouverte depuis novembre 2013
bull il sagit dun outil facultaire destineacute agrave ndash Lrsquoentrainement des eacutetudiants ndash la reacutealisation dexamens validant informatiseacutes dans
les UFR ndash La preacuteparation des eacutetudiants aux ECNi
Objectifs peacutedagogiques de la base
Tester
1 des connaissances factuelles
2 la capaciteacute agrave reacutesoudre des problegravemes cliniques simples
3 la capaciteacute agrave reacutesoudre des problegravemes cliniques complexes dans des situations drsquoincertitude
nb Les connaissances et compeacutetences eacutevalueacutees restent inchangeacutees
Points forts attendus
bull Diversification des contenus ( intelligences diffeacuterentes) plus de chance pour tous
bull Valorisation de lrsquoapprentissage clinique en stage souhait de nombreuses images et illustrations
bull Correction automatique des eacutepreuves
Diversification des eacutepreuves
1 des dossiers cliniques progressifs (DCP)
2 des questions isoleacutees (QI) ndash QRU (Question agrave Reacuteponse Unique)
ndash QRM (Questions agrave Reacuteponses Multiples)
3 Une eacutepreuve de LCA ( 2 articles) sans le reacutesumeacute les articles sont en anglais agrave partir de 2017
bull A venir rentreacutee 2017 pour concours 2020 ndash Tests de concordance de script ou TCS
Comment preacuteparer les eacutetudiants de DFASM
bull chaque faculteacute de meacutedecine slsquoest eacutequipeacutee dune plate-forme informatique commune deacutedieacutee agrave leacutevaluation et agrave la preacuteparation aux ECN
bull Cet outil sintitule SIDES (Systegraveme Informatique Distribueacute drsquoEacutevaluation en Santeacute)
bull Chaque Faculteacute est en mesure via sa plate-forme SIDES dassurer des examens informatiseacutes utilisables tout au long du cursus meacutedical
Lien entre Banque locale et nationale
bull Chaque Universiteacute est inviteacutee agrave soumettre au niveau national des questions et dossiers valideacutes obligatoirement
bull Objectif constituer une base de donneacutees docimologique nationale valideacutee mise agrave la disposition des eacutetudiants comme support national drsquoentraicircnement
Adaptation de la docimologie
bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)
bull A Paris Descartes les eacutetudiants de DFASM3 sont entraineacutes agrave partir du DFASM1
bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard
SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions
Rocircle des experts
bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet
bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)
bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees
Liens entre SIDES et ECNI
bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)
Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves
bull 70 de la note sur les DP
bull 20 de la note sur les QI
bull 10 de la note sur la LCA
Les ECNi seront organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves
Le baregraveme total est sur 10 000 points
bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP
bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI
bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017
La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero
Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question
Exemple de discordance Parmi les pathologies osseuses suivantes quelles sont celles qui peuvent ecirctre des complications de la corticotheacuterapie
bull Propositions et reacuteponses attendues
A Osteacuteoporose times
B Coxarthrose
C Neacutecrose de la tecircte feacutemorale times
D Osteacuteosarcome
E Osteacuteomalacie
Reacuteponse de lrsquoeacutetudiant
times
1 discordance
times 2 discordances
Reacutesultat 02 point
bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2017
bull Les faculteacutes drsquoIle de France organisent un concours blanc reacutegional un a eu lieu en deacutecembre
bull Chaque faculteacute en organise eacutegalement un
Comment construire un dossier
bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales
bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales
bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche
Contraintes docimologiques
bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5
bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre
construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2
bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier
ndash Contraintes sur les dossiers LCA (DLCA)
les mecircmes que pour les DCP
Les premiegraveres ECNi Impacts amp perspectives
16 Deacutecembre 2016 Olivier Palombi
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Les moyens
Les eacutetudiants ndash dans leur universiteacute respective
ndash composent les eacutepreuves nationales communes simultaneacutement
ndash sur un support informatique standardiseacute
bull Grace agrave lrsquoaide des TICE (Technologies de lInformation et de la Communication pour lEnseignement)
bull Epreuves geacutereacutees par le Centre National de Gestion CNG
SIDES outil de preacuteparation des eacutetudiants aux ECN partageacute par toutes les faculteacutes
bull SIDES est une plate-forme numeacuterique nationale distribueacutee dans toutes les Faculteacutes deacutedieacutee agrave leacutevaluation en ligne
bull constitue une base de donneacutees docimologiques nationale dentraicircnement ouverte depuis novembre 2013
bull il sagit dun outil facultaire destineacute agrave ndash Lrsquoentrainement des eacutetudiants ndash la reacutealisation dexamens validant informatiseacutes dans
les UFR ndash La preacuteparation des eacutetudiants aux ECNi
Objectifs peacutedagogiques de la base
Tester
1 des connaissances factuelles
2 la capaciteacute agrave reacutesoudre des problegravemes cliniques simples
3 la capaciteacute agrave reacutesoudre des problegravemes cliniques complexes dans des situations drsquoincertitude
nb Les connaissances et compeacutetences eacutevalueacutees restent inchangeacutees
Points forts attendus
bull Diversification des contenus ( intelligences diffeacuterentes) plus de chance pour tous
bull Valorisation de lrsquoapprentissage clinique en stage souhait de nombreuses images et illustrations
bull Correction automatique des eacutepreuves
Diversification des eacutepreuves
1 des dossiers cliniques progressifs (DCP)
2 des questions isoleacutees (QI) ndash QRU (Question agrave Reacuteponse Unique)
ndash QRM (Questions agrave Reacuteponses Multiples)
3 Une eacutepreuve de LCA ( 2 articles) sans le reacutesumeacute les articles sont en anglais agrave partir de 2017
bull A venir rentreacutee 2017 pour concours 2020 ndash Tests de concordance de script ou TCS
Comment preacuteparer les eacutetudiants de DFASM
bull chaque faculteacute de meacutedecine slsquoest eacutequipeacutee dune plate-forme informatique commune deacutedieacutee agrave leacutevaluation et agrave la preacuteparation aux ECN
bull Cet outil sintitule SIDES (Systegraveme Informatique Distribueacute drsquoEacutevaluation en Santeacute)
bull Chaque Faculteacute est en mesure via sa plate-forme SIDES dassurer des examens informatiseacutes utilisables tout au long du cursus meacutedical
Lien entre Banque locale et nationale
bull Chaque Universiteacute est inviteacutee agrave soumettre au niveau national des questions et dossiers valideacutes obligatoirement
bull Objectif constituer une base de donneacutees docimologique nationale valideacutee mise agrave la disposition des eacutetudiants comme support national drsquoentraicircnement
Adaptation de la docimologie
bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)
bull A Paris Descartes les eacutetudiants de DFASM3 sont entraineacutes agrave partir du DFASM1
bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard
SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions
Rocircle des experts
bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet
bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)
bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees
Liens entre SIDES et ECNI
bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)
Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves
bull 70 de la note sur les DP
bull 20 de la note sur les QI
bull 10 de la note sur la LCA
Les ECNi seront organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves
Le baregraveme total est sur 10 000 points
bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP
bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI
bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017
La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero
Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question
Exemple de discordance Parmi les pathologies osseuses suivantes quelles sont celles qui peuvent ecirctre des complications de la corticotheacuterapie
bull Propositions et reacuteponses attendues
A Osteacuteoporose times
B Coxarthrose
C Neacutecrose de la tecircte feacutemorale times
D Osteacuteosarcome
E Osteacuteomalacie
Reacuteponse de lrsquoeacutetudiant
times
1 discordance
times 2 discordances
Reacutesultat 02 point
bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2017
bull Les faculteacutes drsquoIle de France organisent un concours blanc reacutegional un a eu lieu en deacutecembre
bull Chaque faculteacute en organise eacutegalement un
Comment construire un dossier
bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales
bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales
bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche
Contraintes docimologiques
bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5
bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre
construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2
bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier
ndash Contraintes sur les dossiers LCA (DLCA)
les mecircmes que pour les DCP
Les premiegraveres ECNi Impacts amp perspectives
16 Deacutecembre 2016 Olivier Palombi
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
SIDES outil de preacuteparation des eacutetudiants aux ECN partageacute par toutes les faculteacutes
bull SIDES est une plate-forme numeacuterique nationale distribueacutee dans toutes les Faculteacutes deacutedieacutee agrave leacutevaluation en ligne
bull constitue une base de donneacutees docimologiques nationale dentraicircnement ouverte depuis novembre 2013
bull il sagit dun outil facultaire destineacute agrave ndash Lrsquoentrainement des eacutetudiants ndash la reacutealisation dexamens validant informatiseacutes dans
les UFR ndash La preacuteparation des eacutetudiants aux ECNi
Objectifs peacutedagogiques de la base
Tester
1 des connaissances factuelles
2 la capaciteacute agrave reacutesoudre des problegravemes cliniques simples
3 la capaciteacute agrave reacutesoudre des problegravemes cliniques complexes dans des situations drsquoincertitude
nb Les connaissances et compeacutetences eacutevalueacutees restent inchangeacutees
Points forts attendus
bull Diversification des contenus ( intelligences diffeacuterentes) plus de chance pour tous
bull Valorisation de lrsquoapprentissage clinique en stage souhait de nombreuses images et illustrations
bull Correction automatique des eacutepreuves
Diversification des eacutepreuves
1 des dossiers cliniques progressifs (DCP)
2 des questions isoleacutees (QI) ndash QRU (Question agrave Reacuteponse Unique)
ndash QRM (Questions agrave Reacuteponses Multiples)
3 Une eacutepreuve de LCA ( 2 articles) sans le reacutesumeacute les articles sont en anglais agrave partir de 2017
bull A venir rentreacutee 2017 pour concours 2020 ndash Tests de concordance de script ou TCS
Comment preacuteparer les eacutetudiants de DFASM
bull chaque faculteacute de meacutedecine slsquoest eacutequipeacutee dune plate-forme informatique commune deacutedieacutee agrave leacutevaluation et agrave la preacuteparation aux ECN
bull Cet outil sintitule SIDES (Systegraveme Informatique Distribueacute drsquoEacutevaluation en Santeacute)
bull Chaque Faculteacute est en mesure via sa plate-forme SIDES dassurer des examens informatiseacutes utilisables tout au long du cursus meacutedical
Lien entre Banque locale et nationale
bull Chaque Universiteacute est inviteacutee agrave soumettre au niveau national des questions et dossiers valideacutes obligatoirement
bull Objectif constituer une base de donneacutees docimologique nationale valideacutee mise agrave la disposition des eacutetudiants comme support national drsquoentraicircnement
Adaptation de la docimologie
bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)
bull A Paris Descartes les eacutetudiants de DFASM3 sont entraineacutes agrave partir du DFASM1
bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard
SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions
Rocircle des experts
bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet
bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)
bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees
Liens entre SIDES et ECNI
bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)
Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves
bull 70 de la note sur les DP
bull 20 de la note sur les QI
bull 10 de la note sur la LCA
Les ECNi seront organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves
Le baregraveme total est sur 10 000 points
bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP
bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI
bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017
La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero
Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question
Exemple de discordance Parmi les pathologies osseuses suivantes quelles sont celles qui peuvent ecirctre des complications de la corticotheacuterapie
bull Propositions et reacuteponses attendues
A Osteacuteoporose times
B Coxarthrose
C Neacutecrose de la tecircte feacutemorale times
D Osteacuteosarcome
E Osteacuteomalacie
Reacuteponse de lrsquoeacutetudiant
times
1 discordance
times 2 discordances
Reacutesultat 02 point
bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2017
bull Les faculteacutes drsquoIle de France organisent un concours blanc reacutegional un a eu lieu en deacutecembre
bull Chaque faculteacute en organise eacutegalement un
Comment construire un dossier
bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales
bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales
bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche
Contraintes docimologiques
bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5
bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre
construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2
bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier
ndash Contraintes sur les dossiers LCA (DLCA)
les mecircmes que pour les DCP
Les premiegraveres ECNi Impacts amp perspectives
16 Deacutecembre 2016 Olivier Palombi
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Objectifs peacutedagogiques de la base
Tester
1 des connaissances factuelles
2 la capaciteacute agrave reacutesoudre des problegravemes cliniques simples
3 la capaciteacute agrave reacutesoudre des problegravemes cliniques complexes dans des situations drsquoincertitude
nb Les connaissances et compeacutetences eacutevalueacutees restent inchangeacutees
Points forts attendus
bull Diversification des contenus ( intelligences diffeacuterentes) plus de chance pour tous
bull Valorisation de lrsquoapprentissage clinique en stage souhait de nombreuses images et illustrations
bull Correction automatique des eacutepreuves
Diversification des eacutepreuves
1 des dossiers cliniques progressifs (DCP)
2 des questions isoleacutees (QI) ndash QRU (Question agrave Reacuteponse Unique)
ndash QRM (Questions agrave Reacuteponses Multiples)
3 Une eacutepreuve de LCA ( 2 articles) sans le reacutesumeacute les articles sont en anglais agrave partir de 2017
bull A venir rentreacutee 2017 pour concours 2020 ndash Tests de concordance de script ou TCS
Comment preacuteparer les eacutetudiants de DFASM
bull chaque faculteacute de meacutedecine slsquoest eacutequipeacutee dune plate-forme informatique commune deacutedieacutee agrave leacutevaluation et agrave la preacuteparation aux ECN
bull Cet outil sintitule SIDES (Systegraveme Informatique Distribueacute drsquoEacutevaluation en Santeacute)
bull Chaque Faculteacute est en mesure via sa plate-forme SIDES dassurer des examens informatiseacutes utilisables tout au long du cursus meacutedical
Lien entre Banque locale et nationale
bull Chaque Universiteacute est inviteacutee agrave soumettre au niveau national des questions et dossiers valideacutes obligatoirement
bull Objectif constituer une base de donneacutees docimologique nationale valideacutee mise agrave la disposition des eacutetudiants comme support national drsquoentraicircnement
Adaptation de la docimologie
bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)
bull A Paris Descartes les eacutetudiants de DFASM3 sont entraineacutes agrave partir du DFASM1
bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard
SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions
Rocircle des experts
bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet
bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)
bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees
Liens entre SIDES et ECNI
bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)
Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves
bull 70 de la note sur les DP
bull 20 de la note sur les QI
bull 10 de la note sur la LCA
Les ECNi seront organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves
Le baregraveme total est sur 10 000 points
bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP
bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI
bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017
La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero
Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question
Exemple de discordance Parmi les pathologies osseuses suivantes quelles sont celles qui peuvent ecirctre des complications de la corticotheacuterapie
bull Propositions et reacuteponses attendues
A Osteacuteoporose times
B Coxarthrose
C Neacutecrose de la tecircte feacutemorale times
D Osteacuteosarcome
E Osteacuteomalacie
Reacuteponse de lrsquoeacutetudiant
times
1 discordance
times 2 discordances
Reacutesultat 02 point
bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2017
bull Les faculteacutes drsquoIle de France organisent un concours blanc reacutegional un a eu lieu en deacutecembre
bull Chaque faculteacute en organise eacutegalement un
Comment construire un dossier
bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales
bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales
bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche
Contraintes docimologiques
bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5
bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre
construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2
bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier
ndash Contraintes sur les dossiers LCA (DLCA)
les mecircmes que pour les DCP
Les premiegraveres ECNi Impacts amp perspectives
16 Deacutecembre 2016 Olivier Palombi
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Points forts attendus
bull Diversification des contenus ( intelligences diffeacuterentes) plus de chance pour tous
bull Valorisation de lrsquoapprentissage clinique en stage souhait de nombreuses images et illustrations
bull Correction automatique des eacutepreuves
Diversification des eacutepreuves
1 des dossiers cliniques progressifs (DCP)
2 des questions isoleacutees (QI) ndash QRU (Question agrave Reacuteponse Unique)
ndash QRM (Questions agrave Reacuteponses Multiples)
3 Une eacutepreuve de LCA ( 2 articles) sans le reacutesumeacute les articles sont en anglais agrave partir de 2017
bull A venir rentreacutee 2017 pour concours 2020 ndash Tests de concordance de script ou TCS
Comment preacuteparer les eacutetudiants de DFASM
bull chaque faculteacute de meacutedecine slsquoest eacutequipeacutee dune plate-forme informatique commune deacutedieacutee agrave leacutevaluation et agrave la preacuteparation aux ECN
bull Cet outil sintitule SIDES (Systegraveme Informatique Distribueacute drsquoEacutevaluation en Santeacute)
bull Chaque Faculteacute est en mesure via sa plate-forme SIDES dassurer des examens informatiseacutes utilisables tout au long du cursus meacutedical
Lien entre Banque locale et nationale
bull Chaque Universiteacute est inviteacutee agrave soumettre au niveau national des questions et dossiers valideacutes obligatoirement
bull Objectif constituer une base de donneacutees docimologique nationale valideacutee mise agrave la disposition des eacutetudiants comme support national drsquoentraicircnement
Adaptation de la docimologie
bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)
bull A Paris Descartes les eacutetudiants de DFASM3 sont entraineacutes agrave partir du DFASM1
bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard
SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions
Rocircle des experts
bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet
bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)
bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees
Liens entre SIDES et ECNI
bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)
Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves
bull 70 de la note sur les DP
bull 20 de la note sur les QI
bull 10 de la note sur la LCA
Les ECNi seront organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves
Le baregraveme total est sur 10 000 points
bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP
bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI
bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017
La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero
Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question
Exemple de discordance Parmi les pathologies osseuses suivantes quelles sont celles qui peuvent ecirctre des complications de la corticotheacuterapie
bull Propositions et reacuteponses attendues
A Osteacuteoporose times
B Coxarthrose
C Neacutecrose de la tecircte feacutemorale times
D Osteacuteosarcome
E Osteacuteomalacie
Reacuteponse de lrsquoeacutetudiant
times
1 discordance
times 2 discordances
Reacutesultat 02 point
bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2017
bull Les faculteacutes drsquoIle de France organisent un concours blanc reacutegional un a eu lieu en deacutecembre
bull Chaque faculteacute en organise eacutegalement un
Comment construire un dossier
bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales
bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales
bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche
Contraintes docimologiques
bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5
bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre
construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2
bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier
ndash Contraintes sur les dossiers LCA (DLCA)
les mecircmes que pour les DCP
Les premiegraveres ECNi Impacts amp perspectives
16 Deacutecembre 2016 Olivier Palombi
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Diversification des eacutepreuves
1 des dossiers cliniques progressifs (DCP)
2 des questions isoleacutees (QI) ndash QRU (Question agrave Reacuteponse Unique)
ndash QRM (Questions agrave Reacuteponses Multiples)
3 Une eacutepreuve de LCA ( 2 articles) sans le reacutesumeacute les articles sont en anglais agrave partir de 2017
bull A venir rentreacutee 2017 pour concours 2020 ndash Tests de concordance de script ou TCS
Comment preacuteparer les eacutetudiants de DFASM
bull chaque faculteacute de meacutedecine slsquoest eacutequipeacutee dune plate-forme informatique commune deacutedieacutee agrave leacutevaluation et agrave la preacuteparation aux ECN
bull Cet outil sintitule SIDES (Systegraveme Informatique Distribueacute drsquoEacutevaluation en Santeacute)
bull Chaque Faculteacute est en mesure via sa plate-forme SIDES dassurer des examens informatiseacutes utilisables tout au long du cursus meacutedical
Lien entre Banque locale et nationale
bull Chaque Universiteacute est inviteacutee agrave soumettre au niveau national des questions et dossiers valideacutes obligatoirement
bull Objectif constituer une base de donneacutees docimologique nationale valideacutee mise agrave la disposition des eacutetudiants comme support national drsquoentraicircnement
Adaptation de la docimologie
bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)
bull A Paris Descartes les eacutetudiants de DFASM3 sont entraineacutes agrave partir du DFASM1
bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard
SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions
Rocircle des experts
bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet
bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)
bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees
Liens entre SIDES et ECNI
bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)
Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves
bull 70 de la note sur les DP
bull 20 de la note sur les QI
bull 10 de la note sur la LCA
Les ECNi seront organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves
Le baregraveme total est sur 10 000 points
bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP
bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI
bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017
La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero
Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question
Exemple de discordance Parmi les pathologies osseuses suivantes quelles sont celles qui peuvent ecirctre des complications de la corticotheacuterapie
bull Propositions et reacuteponses attendues
A Osteacuteoporose times
B Coxarthrose
C Neacutecrose de la tecircte feacutemorale times
D Osteacuteosarcome
E Osteacuteomalacie
Reacuteponse de lrsquoeacutetudiant
times
1 discordance
times 2 discordances
Reacutesultat 02 point
bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2017
bull Les faculteacutes drsquoIle de France organisent un concours blanc reacutegional un a eu lieu en deacutecembre
bull Chaque faculteacute en organise eacutegalement un
Comment construire un dossier
bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales
bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales
bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche
Contraintes docimologiques
bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5
bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre
construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2
bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier
ndash Contraintes sur les dossiers LCA (DLCA)
les mecircmes que pour les DCP
Les premiegraveres ECNi Impacts amp perspectives
16 Deacutecembre 2016 Olivier Palombi
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Comment preacuteparer les eacutetudiants de DFASM
bull chaque faculteacute de meacutedecine slsquoest eacutequipeacutee dune plate-forme informatique commune deacutedieacutee agrave leacutevaluation et agrave la preacuteparation aux ECN
bull Cet outil sintitule SIDES (Systegraveme Informatique Distribueacute drsquoEacutevaluation en Santeacute)
bull Chaque Faculteacute est en mesure via sa plate-forme SIDES dassurer des examens informatiseacutes utilisables tout au long du cursus meacutedical
Lien entre Banque locale et nationale
bull Chaque Universiteacute est inviteacutee agrave soumettre au niveau national des questions et dossiers valideacutes obligatoirement
bull Objectif constituer une base de donneacutees docimologique nationale valideacutee mise agrave la disposition des eacutetudiants comme support national drsquoentraicircnement
Adaptation de la docimologie
bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)
bull A Paris Descartes les eacutetudiants de DFASM3 sont entraineacutes agrave partir du DFASM1
bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard
SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions
Rocircle des experts
bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet
bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)
bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees
Liens entre SIDES et ECNI
bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)
Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves
bull 70 de la note sur les DP
bull 20 de la note sur les QI
bull 10 de la note sur la LCA
Les ECNi seront organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves
Le baregraveme total est sur 10 000 points
bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP
bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI
bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017
La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero
Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question
Exemple de discordance Parmi les pathologies osseuses suivantes quelles sont celles qui peuvent ecirctre des complications de la corticotheacuterapie
bull Propositions et reacuteponses attendues
A Osteacuteoporose times
B Coxarthrose
C Neacutecrose de la tecircte feacutemorale times
D Osteacuteosarcome
E Osteacuteomalacie
Reacuteponse de lrsquoeacutetudiant
times
1 discordance
times 2 discordances
Reacutesultat 02 point
bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2017
bull Les faculteacutes drsquoIle de France organisent un concours blanc reacutegional un a eu lieu en deacutecembre
bull Chaque faculteacute en organise eacutegalement un
Comment construire un dossier
bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales
bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales
bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche
Contraintes docimologiques
bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5
bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre
construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2
bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier
ndash Contraintes sur les dossiers LCA (DLCA)
les mecircmes que pour les DCP
Les premiegraveres ECNi Impacts amp perspectives
16 Deacutecembre 2016 Olivier Palombi
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Lien entre Banque locale et nationale
bull Chaque Universiteacute est inviteacutee agrave soumettre au niveau national des questions et dossiers valideacutes obligatoirement
bull Objectif constituer une base de donneacutees docimologique nationale valideacutee mise agrave la disposition des eacutetudiants comme support national drsquoentraicircnement
Adaptation de la docimologie
bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)
bull A Paris Descartes les eacutetudiants de DFASM3 sont entraineacutes agrave partir du DFASM1
bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard
SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions
Rocircle des experts
bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet
bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)
bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees
Liens entre SIDES et ECNI
bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)
Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves
bull 70 de la note sur les DP
bull 20 de la note sur les QI
bull 10 de la note sur la LCA
Les ECNi seront organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves
Le baregraveme total est sur 10 000 points
bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP
bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI
bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017
La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero
Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question
Exemple de discordance Parmi les pathologies osseuses suivantes quelles sont celles qui peuvent ecirctre des complications de la corticotheacuterapie
bull Propositions et reacuteponses attendues
A Osteacuteoporose times
B Coxarthrose
C Neacutecrose de la tecircte feacutemorale times
D Osteacuteosarcome
E Osteacuteomalacie
Reacuteponse de lrsquoeacutetudiant
times
1 discordance
times 2 discordances
Reacutesultat 02 point
bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2017
bull Les faculteacutes drsquoIle de France organisent un concours blanc reacutegional un a eu lieu en deacutecembre
bull Chaque faculteacute en organise eacutegalement un
Comment construire un dossier
bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales
bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales
bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche
Contraintes docimologiques
bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5
bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre
construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2
bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier
ndash Contraintes sur les dossiers LCA (DLCA)
les mecircmes que pour les DCP
Les premiegraveres ECNi Impacts amp perspectives
16 Deacutecembre 2016 Olivier Palombi
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Adaptation de la docimologie
bull les examens facultaires suivent les modaliteacutes ECN i afin de familiariser le plus possible les eacutetudiants agrave cette docimologie (DCP QI LCA)
bull A Paris Descartes les eacutetudiants de DFASM3 sont entraineacutes agrave partir du DFASM1
bull Toute nouvelle modaliteacute docimologique doit ecirctre introduite en DFA 1 et ne sera au concours que 3 ans plus tard
SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions
Rocircle des experts
bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet
bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)
bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees
Liens entre SIDES et ECNI
bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)
Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves
bull 70 de la note sur les DP
bull 20 de la note sur les QI
bull 10 de la note sur la LCA
Les ECNi seront organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves
Le baregraveme total est sur 10 000 points
bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP
bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI
bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017
La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero
Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question
Exemple de discordance Parmi les pathologies osseuses suivantes quelles sont celles qui peuvent ecirctre des complications de la corticotheacuterapie
bull Propositions et reacuteponses attendues
A Osteacuteoporose times
B Coxarthrose
C Neacutecrose de la tecircte feacutemorale times
D Osteacuteosarcome
E Osteacuteomalacie
Reacuteponse de lrsquoeacutetudiant
times
1 discordance
times 2 discordances
Reacutesultat 02 point
bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2017
bull Les faculteacutes drsquoIle de France organisent un concours blanc reacutegional un a eu lieu en deacutecembre
bull Chaque faculteacute en organise eacutegalement un
Comment construire un dossier
bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales
bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales
bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche
Contraintes docimologiques
bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5
bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre
construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2
bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier
ndash Contraintes sur les dossiers LCA (DLCA)
les mecircmes que pour les DCP
Les premiegraveres ECNi Impacts amp perspectives
16 Deacutecembre 2016 Olivier Palombi
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
SIDES (Systegraveme Informatiseacute Distribueacute drsquoEacutevaluation en Santeacute (SIDE-Santeacute) ensemble des plate-formes facultaires et de leurs interactions
Rocircle des experts
bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet
bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)
bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees
Liens entre SIDES et ECNI
bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)
Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves
bull 70 de la note sur les DP
bull 20 de la note sur les QI
bull 10 de la note sur la LCA
Les ECNi seront organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves
Le baregraveme total est sur 10 000 points
bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP
bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI
bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017
La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero
Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question
Exemple de discordance Parmi les pathologies osseuses suivantes quelles sont celles qui peuvent ecirctre des complications de la corticotheacuterapie
bull Propositions et reacuteponses attendues
A Osteacuteoporose times
B Coxarthrose
C Neacutecrose de la tecircte feacutemorale times
D Osteacuteosarcome
E Osteacuteomalacie
Reacuteponse de lrsquoeacutetudiant
times
1 discordance
times 2 discordances
Reacutesultat 02 point
bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2017
bull Les faculteacutes drsquoIle de France organisent un concours blanc reacutegional un a eu lieu en deacutecembre
bull Chaque faculteacute en organise eacutegalement un
Comment construire un dossier
bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales
bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales
bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche
Contraintes docimologiques
bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5
bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre
construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2
bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier
ndash Contraintes sur les dossiers LCA (DLCA)
les mecircmes que pour les DCP
Les premiegraveres ECNi Impacts amp perspectives
16 Deacutecembre 2016 Olivier Palombi
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
bull Sous la direction de lAUFEMO lensemble des services administratifs et informatiques des faculteacutes de meacutedecine srsquo est mobiliseacute sur ce projet
bull Les salles dexamens sont eacutequipeacutees agrave laide de bornes WiFi de grosse capaciteacute (200 connexions par borne)
bull La faculteacute est eacutequipeacutee en tablettes tactiles deacutedieacutees aux eacutepreuves informatiseacutees
Liens entre SIDES et ECNI
bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)
Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves
bull 70 de la note sur les DP
bull 20 de la note sur les QI
bull 10 de la note sur la LCA
Les ECNi seront organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves
Le baregraveme total est sur 10 000 points
bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP
bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI
bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017
La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero
Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question
Exemple de discordance Parmi les pathologies osseuses suivantes quelles sont celles qui peuvent ecirctre des complications de la corticotheacuterapie
bull Propositions et reacuteponses attendues
A Osteacuteoporose times
B Coxarthrose
C Neacutecrose de la tecircte feacutemorale times
D Osteacuteosarcome
E Osteacuteomalacie
Reacuteponse de lrsquoeacutetudiant
times
1 discordance
times 2 discordances
Reacutesultat 02 point
bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2017
bull Les faculteacutes drsquoIle de France organisent un concours blanc reacutegional un a eu lieu en deacutecembre
bull Chaque faculteacute en organise eacutegalement un
Comment construire un dossier
bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales
bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales
bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche
Contraintes docimologiques
bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5
bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre
construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2
bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier
ndash Contraintes sur les dossiers LCA (DLCA)
les mecircmes que pour les DCP
Les premiegraveres ECNi Impacts amp perspectives
16 Deacutecembre 2016 Olivier Palombi
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Liens entre SIDES et ECNI
bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)
Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves
bull 70 de la note sur les DP
bull 20 de la note sur les QI
bull 10 de la note sur la LCA
Les ECNi seront organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves
Le baregraveme total est sur 10 000 points
bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP
bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI
bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017
La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero
Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question
Exemple de discordance Parmi les pathologies osseuses suivantes quelles sont celles qui peuvent ecirctre des complications de la corticotheacuterapie
bull Propositions et reacuteponses attendues
A Osteacuteoporose times
B Coxarthrose
C Neacutecrose de la tecircte feacutemorale times
D Osteacuteosarcome
E Osteacuteomalacie
Reacuteponse de lrsquoeacutetudiant
times
1 discordance
times 2 discordances
Reacutesultat 02 point
bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2017
bull Les faculteacutes drsquoIle de France organisent un concours blanc reacutegional un a eu lieu en deacutecembre
bull Chaque faculteacute en organise eacutegalement un
Comment construire un dossier
bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales
bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales
bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche
Contraintes docimologiques
bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5
bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre
construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2
bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier
ndash Contraintes sur les dossiers LCA (DLCA)
les mecircmes que pour les DCP
Les premiegraveres ECNi Impacts amp perspectives
16 Deacutecembre 2016 Olivier Palombi
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
bull Le reacutefeacuterentiel pour les ECNi est le reacutefeacuterentiel ECN modifieacute dans le cadre de la refonte du 2egraveme cycle des eacutetudes meacutedicales (arrecircteacute du 8-4-2013 - JO du 23-4-2013)
Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves
bull 70 de la note sur les DP
bull 20 de la note sur les QI
bull 10 de la note sur la LCA
Les ECNi seront organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves
Le baregraveme total est sur 10 000 points
bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP
bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI
bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017
La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero
Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question
Exemple de discordance Parmi les pathologies osseuses suivantes quelles sont celles qui peuvent ecirctre des complications de la corticotheacuterapie
bull Propositions et reacuteponses attendues
A Osteacuteoporose times
B Coxarthrose
C Neacutecrose de la tecircte feacutemorale times
D Osteacuteosarcome
E Osteacuteomalacie
Reacuteponse de lrsquoeacutetudiant
times
1 discordance
times 2 discordances
Reacutesultat 02 point
bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2017
bull Les faculteacutes drsquoIle de France organisent un concours blanc reacutegional un a eu lieu en deacutecembre
bull Chaque faculteacute en organise eacutegalement un
Comment construire un dossier
bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales
bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales
bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche
Contraintes docimologiques
bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5
bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre
construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2
bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier
ndash Contraintes sur les dossiers LCA (DLCA)
les mecircmes que pour les DCP
Les premiegraveres ECNi Impacts amp perspectives
16 Deacutecembre 2016 Olivier Palombi
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Reacutepartition et Baregravemes des diffeacuterentes eacutepreuves
bull 70 de la note sur les DP
bull 20 de la note sur les QI
bull 10 de la note sur la LCA
Les ECNi seront organiseacutees sur 5 demi-journeacutees Trois heures deacutepreuves sont preacutevues par demi-journeacutee Soit un total de 18 heures cumuleacutees deacutepreuves
Le baregraveme total est sur 10 000 points
bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP
bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI
bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017
La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero
Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question
Exemple de discordance Parmi les pathologies osseuses suivantes quelles sont celles qui peuvent ecirctre des complications de la corticotheacuterapie
bull Propositions et reacuteponses attendues
A Osteacuteoporose times
B Coxarthrose
C Neacutecrose de la tecircte feacutemorale times
D Osteacuteosarcome
E Osteacuteomalacie
Reacuteponse de lrsquoeacutetudiant
times
1 discordance
times 2 discordances
Reacutesultat 02 point
bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2017
bull Les faculteacutes drsquoIle de France organisent un concours blanc reacutegional un a eu lieu en deacutecembre
bull Chaque faculteacute en organise eacutegalement un
Comment construire un dossier
bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales
bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales
bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche
Contraintes docimologiques
bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5
bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre
construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2
bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier
ndash Contraintes sur les dossiers LCA (DLCA)
les mecircmes que pour les DCP
Les premiegraveres ECNi Impacts amp perspectives
16 Deacutecembre 2016 Olivier Palombi
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
bull pour les DP sur 7000 points 30 minutes par DCP 9 heures drsquoeacutepreuve soit 18 DCP au total tout les dossiers ont la mecircme valeur soit ~389 points par DCP
bull pour les QI sur 2000 points 1 demi-journeacutee 120 QI ( 15 minutequestion) tout les QI ont le mecircme valeur soit ~17 points par QI
bull pour la LCA sur 1000 points 1 demi-journeacutee 30 questions ayant toutes la mecircme valeur soit ~33 points par question Deux articles scientifiques 500 points dossier Article en anglais agrave partir de 2017
La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero
Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question
Exemple de discordance Parmi les pathologies osseuses suivantes quelles sont celles qui peuvent ecirctre des complications de la corticotheacuterapie
bull Propositions et reacuteponses attendues
A Osteacuteoporose times
B Coxarthrose
C Neacutecrose de la tecircte feacutemorale times
D Osteacuteosarcome
E Osteacuteomalacie
Reacuteponse de lrsquoeacutetudiant
times
1 discordance
times 2 discordances
Reacutesultat 02 point
bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2017
bull Les faculteacutes drsquoIle de France organisent un concours blanc reacutegional un a eu lieu en deacutecembre
bull Chaque faculteacute en organise eacutegalement un
Comment construire un dossier
bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales
bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales
bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche
Contraintes docimologiques
bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5
bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre
construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2
bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier
ndash Contraintes sur les dossiers LCA (DLCA)
les mecircmes que pour les DCP
Les premiegraveres ECNi Impacts amp perspectives
16 Deacutecembre 2016 Olivier Palombi
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
La correction des questions agrave reacuteponses multiples est baseacutee sur le nombre de discordances entre les reacuteponses de leacutetudiant et la grille de correction Les modaliteacutes sont celles de 1994 agrave 2004 pour les concours de lInternat ougrave les QCM eacutetaient deacutejagrave utiliseacutes Les QRM agrave 5 items sont noteacutees entre 1 et 0 0 discordance leacutetudiant a la note maximale soit 1 1 discordance la note passe agrave 05 sur 1 2 discordances la note passe agrave 02 sur 1 3 discordances ou + la note est de zeacutero
Labsence de reacuteponse agrave une question entraicircne zeacutero agrave la question
Exemple de discordance Parmi les pathologies osseuses suivantes quelles sont celles qui peuvent ecirctre des complications de la corticotheacuterapie
bull Propositions et reacuteponses attendues
A Osteacuteoporose times
B Coxarthrose
C Neacutecrose de la tecircte feacutemorale times
D Osteacuteosarcome
E Osteacuteomalacie
Reacuteponse de lrsquoeacutetudiant
times
1 discordance
times 2 discordances
Reacutesultat 02 point
bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2017
bull Les faculteacutes drsquoIle de France organisent un concours blanc reacutegional un a eu lieu en deacutecembre
bull Chaque faculteacute en organise eacutegalement un
Comment construire un dossier
bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales
bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales
bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche
Contraintes docimologiques
bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5
bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre
construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2
bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier
ndash Contraintes sur les dossiers LCA (DLCA)
les mecircmes que pour les DCP
Les premiegraveres ECNi Impacts amp perspectives
16 Deacutecembre 2016 Olivier Palombi
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Exemple de discordance Parmi les pathologies osseuses suivantes quelles sont celles qui peuvent ecirctre des complications de la corticotheacuterapie
bull Propositions et reacuteponses attendues
A Osteacuteoporose times
B Coxarthrose
C Neacutecrose de la tecircte feacutemorale times
D Osteacuteosarcome
E Osteacuteomalacie
Reacuteponse de lrsquoeacutetudiant
times
1 discordance
times 2 discordances
Reacutesultat 02 point
bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2017
bull Les faculteacutes drsquoIle de France organisent un concours blanc reacutegional un a eu lieu en deacutecembre
bull Chaque faculteacute en organise eacutegalement un
Comment construire un dossier
bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales
bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales
bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche
Contraintes docimologiques
bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5
bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre
construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2
bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier
ndash Contraintes sur les dossiers LCA (DLCA)
les mecircmes que pour les DCP
Les premiegraveres ECNi Impacts amp perspectives
16 Deacutecembre 2016 Olivier Palombi
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
bull Une Epreuve Test Nationale est preacutevue deacutebut mars 2017
bull Les faculteacutes drsquoIle de France organisent un concours blanc reacutegional un a eu lieu en deacutecembre
bull Chaque faculteacute en organise eacutegalement un
Comment construire un dossier
bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales
bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales
bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche
Contraintes docimologiques
bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5
bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre
construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2
bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier
ndash Contraintes sur les dossiers LCA (DLCA)
les mecircmes que pour les DCP
Les premiegraveres ECNi Impacts amp perspectives
16 Deacutecembre 2016 Olivier Palombi
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Comment construire un dossier
bull chaque question doit ecirctre rattacheacutee agrave au moins un item du reacutefeacuterentiel du 2egraveme cycle des eacutetudes meacutedicales
bull lier chaque question agrave une discipline clinique etou agrave un domaine de connaissances transversales
bull enrichir leur contenu docimologique de commentaires compleacutementaires afin dexpliciter ou de commenter leur deacutemarche
Contraintes docimologiques
bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5
bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre
construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2
bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier
ndash Contraintes sur les dossiers LCA (DLCA)
les mecircmes que pour les DCP
Les premiegraveres ECNi Impacts amp perspectives
16 Deacutecembre 2016 Olivier Palombi
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Contraintes docimologiques
bull Pour les QRM ou QRU Le nombre de propositions par question est exactement de 5
bull Un dossier clinique progressif comporte au plus 15 questions qui portent sur un eacutenonceacute de deacutepart compleacuteteacute le plus souvent par de nouvelles donneacutees au fil des questions ndash Les questions sont de type QRU QRM (ou QROC) ndash Les QRU ou QRM doivent obligatoirement ecirctre
construites avec 5 propositions ndash Le nombre maximum de QROC par dossier est de 2
bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier
ndash Contraintes sur les dossiers LCA (DLCA)
les mecircmes que pour les DCP
Les premiegraveres ECNi Impacts amp perspectives
16 Deacutecembre 2016 Olivier Palombi
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
bull Chaque question doit ecirctre pondeacutereacutee 1 2 ou 3 Cela permet de donner un poids relatif plus important agrave certaines questions au sein du dossier
ndash Contraintes sur les dossiers LCA (DLCA)
les mecircmes que pour les DCP
Les premiegraveres ECNi Impacts amp perspectives
16 Deacutecembre 2016 Olivier Palombi
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Les premiegraveres ECNi Impacts amp perspectives
16 Deacutecembre 2016 Olivier Palombi
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Les candidats aux ECNi 2016
Les types de candidats
Etudiants UFR 7226 Etudiants CESP 180
Etudiants Europe
334 Internes CESP 12
Etudiants Militaire
87 Auditeurs libre
CESP 8
Internes UFR 73 Auditeurs libre 203
Total 8123
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
ECNI 2016 RESULTATS
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Les acteurs Le CNCI
Les experts
Le Conseil Scientifique Meacutedecine
Le MESR Locaux deacutedieacutes
Lrsquoapplication IPOMEN Banque speacutecifique
Tirage au sort
Chiffrement des eacutepreuves
Le CNG Lrsquoapplication CNG-ECNi
34 centres certifieacutes
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Quelques chiffres
o 8572 eacutetudiants avec environ 380 absents agrave chaque session oDont o Auditeurs 211
o T1 92
o Europeacuteens 413
oNote sur 10 000 points
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
METHODOLOGIE DE LA REVISON DE LA CORRECTION AUTOMATISEE
TEMPS 1 Collection des remonteacutees eacutetudiants arriveacutees par le chat pendant les eacutepreuves
TEMPS 2 Revue systeacutematique des taux de reacuteussite pour chaque question des DCP QI et LCA
TEMPS 3 Confrontation et correacutelation avec les remonteacutees eacutetudiants
TEMPS 4 Revue systeacutematique pour toutes les questions dont le taux de reacuteussite est infeacuterieur agrave 20
MOHSEN TAVAKOL amp REG DENNICK Post-examination analysis of objective testsMed Teacher 2011 33 447ndash458
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Epreuve 1 (lundi apregraves midi)
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Epreuve 1 DCP 1 Cardiologie Item 235 Palpitations item 221 HTA item 236 souffle cardiaque
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Epreuve 1 DCP 2 Pneumologie Item 356 Pneumothorax item 73 addiction tabac item 204
insuffisance resp chronique Item 9 certificats meacutedicaux item 180 accidents du travail
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Epreuve 1 DCP 3 Chirurgie digestive Item 269 Ulcegravere gastro-duodeacutenal item 267 douleur abdominale item
352 peacuteritonite Item 353 pancreacuteatite aigueuml
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Epreuve 1 DCP 4 Gyneacutecologie Item 35 Contraception item 36 IVG item 158 HPV
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Epreuve 2 DCP 8 Dermatologie Item 183 Dermatite atopique
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Epreuve 2 DCP 11 Rhumatologie Item 317 Myeacutelome multiple
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Epreuve 2 DCP 12 Meacutedecine palliative Item 137 et 138 Soins palliatifs item 91 compression meacutedullaire item
307 tumeurs de prostate
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Epreuve QI
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Epreuve LCA (mercredi matin)
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Les deux articles de LCA 1 Consommation Maternelle de Cafeacute et de Boissons Cafeacuteineacutees et
Fentes Labio-palatines Une eacutetude Cas-Teacutemoins en Population en Norvegravege
Article adapteacute de Johansen AM Wilcox AJ Lie RT Andersen LF Drevon CA Maternal consumption of coffee and caffeine-containing beverages and oral clefts a population-based case-control study in Norway Am J Epidemiol 2009 May 15169(10)1216-22
2 Reacuteduction du volume pulmonaire par spirales versus soins habituels chez des patients souffrant demphysegraveme seacutevegravere Lessai clinique randomiseacute REVOLENS
Article adapteacute de Desleacutee G Mal H Dutau H Bourdin A Vergnon JM Pison C et al Volume Reduction Coil Treatment vs Usual Care in Patients With Severe Emphysema The REVOLENS Randomized Clinical Trial JAMA 2016315175-84
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Epreuve LCA Article 1 (fente palatine)
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Epreuve LCA Article 2 (spirales)
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Quelques points essentiels +++ Travail en commun des experts avec le collegravegue du CS
Rester niveau 2egraveme cycle
Si les experts ne sont pas drsquoaccord entre euxhellipce nrsquoest pas niveau 2egraveme cycle
Cela nrsquoempecircche pas drsquoinseacuterer quelques questions difficiles
Srsquoappuyer sur un (des) reacutefeacuterentiel(s) de qualiteacute
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Quelques inquieacutetudes leacutegitimes des eacutetudiants
Reacutefeacuterentiel Dans lrsquoensemble le livre des collegraveges enseignants
Quelle diffeacuterence par rapport aux ECN anteacuterieures
Esprit geacuteneacuteral On ne laquo tire pas dans les coins raquo
Certaines questions peuvent ecirctre plus difficiles veut-on ecirctre classant
Le CS est tregraves vigilant lors de la lecture (et correction si besoin) des DCP et QI tireacutes au sort
LCA et document papier
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Sujet infectio Femme 32 ans morsure il y a 12 h par jeune chien reacutecemment adopteacute
Q1 modaliteacutes prise en charge plaie morsure animale (chien chat)
Q2 germes possibles dans la salive du chien
Q3 La plaie est inflammatoire et douloureuse Diagnostic 1 indispensable
Q4 Le Dg de pasteurellose est donneacute Caracteacuteristiques de lrsquoinfection
Q5 Quel(s) ATB dans ces conditions 1 indispensable
Q6 Question sur la rage
Q7 Centre antirabique contacteacute Mesures agrave prendre concernant le chien
1 mesure indispensable
Q8 Le chien avait eacuteteacute adopteacute au Maroc Il srsquoest enfui Quelles mesures pour la patiente
Q9 Un an plus tard la patiente vous questionne sur possibiliteacute heacutepatite C (toxicomanie IV il y a 10 ans) Quels examens bio prescrivez-vous
Q10 Questions sur heacutepatite C
Q11 Sa seacuterologie HCV est neacutegative Questions sur seacuterologie heacutepatite C
Q12 PCR ARN HCV neacutegative Questions sur seacuterologie heacutepatite B
Q13 Quels examens pour compleacuteter bilan de cette infection chronique VHB
Q14 Traitement de lrsquoheacutepatite chronique B
Q15 Modaliteacutes de transmission VHB
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Utilisation raisonnable de la notion laquo reacuteponse indispensable raquo
Transversaliteacute Transdisciplinaire non mais crsquoest difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Modifications faites par le CS Q2 Parmi les germes eacutetait proposeacute E coli Crsquoest possible mais risque drsquoambiguiumlteacute
Remplaceacute par Capnocytophaga canimorsus
Q4 une erreur (pb de laquo cochage raquo) dans la proposition de reacuteponse Pasteurella comme agent de bioterrorisme cocheacute exact alors que crsquoest faux Rectification faite
Q12 une proposition de reacuteponse agrave la question sur signification seacuterologie VHB (heacutepatite B chronique agrave virus mutant preacute-C qui aurait eacuteteacute vraie) remplaceacutee par une proposition plus facile (reacuteplication active du VHB qui est fausse)
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Sujet neacutephro Homme 38 ans Tabagique HTA et heacutematurie microscopique PA 17595
Q1 Donneacutees drsquointerrogatoire dans ce contexte (AINS heacutematurie etc)
Q2 Donneacutees drsquoexamen clinique (souffle gros rein etc)
Q3 Examens bio de premiegravere intention devant toute HTA
Q4 Quels examens bio suppleacutementaires chez ce patient ECBU
Q5 Reacutesultats IR (DFG agrave 40)avec proteacuteinurie et heacutematurie Quels autres examens
Q6 Reacuteponse donneacutee eacutecho-doppler reacutenal Que cherchez vous sur cet examen
Q7 Quels examens bio pour deacuteterminer lrsquoancienneteacute de lrsquoIR
Q8 Reacutesultats donneacutes On deacutecide la PBR Quelles sont les CI
Q9 Quels examens bio avant la PBR
Q10 Quel(les) neacutephropathie(s) possible(s)
Q11 Vous suspectez un Berger Type et localisation des deacutepocircts en IF agrave la PBR
Q12 La PBR confirme le Berger Sa fonction reacutenale srsquoaggrave Facteurs drsquoaggravation chez ce patient (PA mal controcircleacutee apport protidique excessif)
Q13 Evolution vers lrsquoIR terminale Quelle(s) meacutethodes de suppleacuteance
Q14 Conditions indispensables pour un donneur drsquoorgane vivant
Q15 Quelle(s) deacutemarche(s)
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Critiques Dossier tregraves complet
Alternance questions clinico-biologiques progressives et questions de connaissances de base Tout agrave fait justifieacute
Les reacuteponses cleacutes sont donneacutees au fur et agrave mesure apregraves que lrsquoeacutetudiant ait reacutepondu agrave la question
Transversaliteacute Transdisciplinaire non mais difficile
Intra-disciplinaire oui 2 infections diffeacuterentes
Pas de laquo reacuteponse indispensable raquo ECBU agrave Q4 aurait pu
Modifications faites par le CS Q3 la reacuteponse Iono U eacutetait inexacte Ambiguiumlteacute Remplaceacutee par Cl creacuteat sur 4h
Q4 la reacuteponse Hb glyqueacutee eacutetait inexacte Ambiguiumlteacute Remplaceacutee par cateacutecholamines urinaires
Q12 Rajout de la notion que le malade consomme de la viande agrave chaque repas
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Conseil Scientifique Meacutedecine
Experts (130 gt200)
bull Missions
Concevoir les eacutepreuves +++
bull Reacutepartition par speacutecialiteacute
bull 18 groupes 23 groupes de speacutecialiteacutes
bull 3 agrave 8 Experts par groupe
bull Chaque groupe doit identifier parmi ses membres un
animateur
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Les ECNi 2017
ECNi 2017
Conforter les ECNi 2016
Souci de la pertinence peacutedagogique (QRU-QRM ) ndash
privileacutegier les questions laquo reacuteflexion ndashraisonnement raquo
Tranversaliteacute - transdisciplinariteacute
Renforcer la qualiteacute de lrsquoiconographie
ne rien changer aux modaliteacutes de la LCA (sinon articles
en anglais)
Commande 4 DCP et 25 QI par speacutecialiteacute + 8 DPLCA
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
ECNi 2017
QRU-QRM mais Pas de QROC (plateformes ndash reacuteticence
des eacutetudiants)
DCP 15 questions (13 agrave 17) (pondeacuteration possible) 5
propositions de reacuteponses (inacceptablesindispensables)
QI 50 questions laquo de cours raquo 50 questions
laquo reacuteflexion ndash raisonnement raquo agrave partir drsquoun court eacutenonceacute
clinique
Iconographie classique de qualiteacute anonymiseacutee mais
pas de videacuteo
LCA 2 articles laquo papier raquo en anglais questions
deacutemateacuterialiseacutees
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
ECNi blanches 2017
Demandeacutees par les eacutetudiants (entraicircnement grandeur nature
classement)
Indispensables pour tester corrections des
dysfonctionnements des 2 plateformes (MESR CNG)
Epreuves construites agrave partir de la banque ECNi et
non de la banque drsquoentraicircnement SIDES
Contribution uniquement technique du CNG
Semaine du 6 au 10 mars 2017
agrave
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Les ECNi futures
ECNi 2018
Introduction de videacuteo de donneacutees sonores
Neacutecessiteacute de Test
ECNi 2020
Introduction de nouvelles eacutepreuves TCS
Drsquoougrave preacuteparation des Enseignants et des Etudiants degraves
cette anneacutee universitaire
agrave
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Les Questionnaires
agrave Choix Multiples
Pr Claire LE JEUNNE
Membre du conseil scientifique de lrsquointernat
Faculteacute de meacutedecine Paris Descartes
DIU Peacutedagogie meacutedicale 20012017
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Deacutefinition
une question agrave laquelle lrsquoeacutetudiant reacutepond en
opeacuterant une seacutelection (au moins une)
parmi plusieurs solutions proposeacutees (au
moins deux) chacune eacutetant jugeacutee (par le
constructeur de lrsquoeacutepreuve) correcte ou
incorrecte en soi et indeacutependamment de
lrsquoeacutetudiant interrogeacute
Dieudonneacute LECLERC (Bruxelles ndash 1986)
mesure la capaciteacute agrave reconnaicirctre une laquo bonne raquo reacuteponse pas agrave la produire
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
AVANTAGES ndash
INCONVENIENTS
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Avantages et limites de ce type drsquoeacutevaluation
Avantages
bull La correction est rapide beaucoup plus que dans le cas drsquoune eacutevaluation classique
bull La correction est objective et fidegravele
bull Le champs drsquoeacutevaluation est vaste
bull La constitution progressive drsquoune banque de questions permet de faciliter lrsquoeacutelaboration ulteacuterieure de nouveaux questionnaires
Limites
bull La conception drsquoun bon questionnaire demande du temps
bull Une reacuteponse exacte peut ecirctre due au hasard
bull Un questionnaire ne permet pas de tester la capaciteacute agrave reacutediger agrave creacuteer ou agrave produire des raisonnements complexes
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Inconveacutenients des QCM
bull les questions sont difficiles agrave reacutediger
bull les leurres sont complexes agrave concevoir
bull les eacutetudiants reacutepondent de meacutemoire agrave des questions mises agrave disposition dans une banque sans en comprendre la reacuteponse
bull la complexiteacute des questions laquo tirant dans les coins raquo
bull lrsquoambiguiumlteacute de certaines propositions
bull ou le caractegravere discutable de certaines reacuteponses
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Recommandations pour la
reacutealisation des QCM
bull Travailler en eacutequipe La reacutedaction drsquoun
questionnaire satisfaisant demande
beaucoup de temps et drsquoimagination le
texte doit ecirctre parfaitement
compreacutehensible et deacutenueacute de toute
ambiguiumlteacute
bull il est donc plus efficace de travailler en
eacutequipe
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Identifier les items de
questionnement
bull Dissocier la phase de conception du questionnaire de celle de sa reacutealisation technique afin drsquoeacuteviter une laquo surcharge cognitive raquo il est souvent difficile de reacutefleacutechir simultaneacutement au sens de la question et agrave la faccedilon de la preacutesenter
bull Srsquoentendre drsquoabord sur lrsquoensemble des eacuteleacutements agrave eacutevaluer puis sur les moyens drsquoeacutevaluer chacun drsquoentre eux (en variant les strateacutegies et eacuteventuellement le niveau de difficulteacute) et
bull enfin sur la formulation et la preacutesentation
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
6 niveaux drsquoobjectifs peacutedagogiques peuvent ecirctre
testeacutes en fonction du type de QCM
bull Connaissance deacutefinir eacutenumeacuterer nommer
bull Compreacutehension associer diffeacuterencier deacutecrire
distinguer
bull Application illustrer montrer classifier
reacutesoudre
bull Analyse expliquer classer comparer isoler
bull Synthegravese inteacutegrer eacutelaborer reacutediger
argumenter
bull Evaluation deacutecider srsquoautoeacutevaluerjuger
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Les sujets des questions
Les questions doivent
- porter sur les sujets importants de la matiegravere traiteacutee
- traiter drsquoun seul sujet par question
-permettre de distinguer agrave quel degreacute lrsquoeacutelegraveve a assimileacute la
matiegravere
il convient de veiller particuliegraverement agrave
- lunivociteacute le mot garde le mecircme sens dans des
emplois diffeacuterents
- la preacutecision le terme ne laisse place agrave aucune indeacutecision
- la simpliciteacute le niveau de langage correspond agrave celui des
eacutetudiants
- lhonnecircteteacute on eacutevitera dintroduire des notions non
connues des eacutetudiants
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
La formulation des questions
Les questions doivent
- Etre structureacutees en faisant une nette seacuteparation entre tronc
et alternatives
- ecirctre preacutecises en eacutevitant le vague et les sous-entendus
- ecirctre concises en eacutevitant tout ce qui est inutile pour identifier
lrsquoalternative correcte
- ecirctre intelligentes en eacutevitant de fournir des moyens
techniques ou superficiels drsquoidentifier lrsquoalternative correcte ou
les alternatives fausses
Le pH joue un rocircle important dans lrsquoestomac en reacuteglant lrsquoactiviteacute des enzymes
de la digestion seacutecreacuteteacutees par les glandes de la muqueuse interne
Ce pH est
basique
acide
neutre
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Un item doit cibler une seule notion
bull Lrsquoeacutenonceacute doit ecirctre bref non ambigu preacutecis et complet
bull Eacuteviter les propositions sous la forme neacutegative
bull Alterner des questions visant diffeacuterents types de compeacutetences
(restitution de connaissances compreacutehension analyse logique
observation etc)
bull Les propositions doivent avoir le mecircme degreacute de vraisemblance
bull Au sein drsquoun mecircme item les propositions doivent avoir des longueurs
comparables
bull Pour diminuer lrsquoeffet du hasard on peut proposer des reacuteponses du type
aucune reacuteponse nrsquoest correcte ou
Lrsquoeacutenonceacute est incomplethelliphellip
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Ce qursquoil ne faut pas faire
Il faut eacuteviter les formulations ambigueumls telles que les formes
neacutegatives ou a fortiori les doubles neacutegations
1048766 Dans quel cas la fiegravevre est absente
1048766 Dans quel cas il nrsquoy pas drsquoapyrexie
On preacutefegraverera
1048766 Dans quel cas la tempeacuterature est normale
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Si la vignette est
A propos de la peacuteritonite appendiculaire quelles sont les
propositions exactes
On notera que la theacutematique est tregraves geacuteneacuterale voire vague de
sorte que les propositions seront disparates
En revanche
Quels sont les arguments cliniques en faveur drsquoune steacutenose
hypertrophique du pylore
Cette formulation est beaucoup plus fermeacutee et permettra de
focaliser les propositions de reacuteponse sur la mecircme theacutematique
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Adverbes et formes adverbiales
bull Certains adverbes portent en eux une indication de freacutequence Il est donc important si lrsquoon souhaite y recourir de rappeler en deacutebut drsquoexamen la valeur seacutemantique de chaque adverbe ndash 1048766 Classiquement gt 90 des cas
ndash 1048766 Typiquement Habituellement gt60 des cas
ndash 1048766 Souvent Parfois Peuthellip gt 30 des cas
ndash 1048766 Est associeacute agrave hellip est le traitement de choixhellip peut ecirctre vuhellip peut ecirctre causeacute parhellip sont autant de formes adverbiales qui ne portent pas en elle drsquoindication de freacutequence significative
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Choix des leurres
Nombre de leurres
bull Une bonne QCM doit en regravegle comporter 4 leurres et une seule
bonne reacuteponse au moins pour une eacutevaluation sanctionnante dont lrsquoobjectif est la validation drsquoune connaissance
bull Les QCM pour lesquels plusieurs bonnes reacuteponses sont attendues
doivent ecirctre utiliseacutes avec parcimonie
bull Si 3 bonnes reacuteponses sont attendues la valeur de chacune est rarement eacutequivalente une drsquoelle est souvent plus rare moins reacutealiste plus discuteacuteehellip
bull La multiplication des bonnes reacuteponses possibles dans un QCM diminue la valeur discriminante
bull Une seule bonne reacuteponse limite les choix lieacutes au seul hasard
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
CHOIX DES LEURRES
bull Le choix de 4 leurres est une contrainte reconnue par tout enseignant srsquoeacutetant deacutejagrave precircteacute agrave lrsquoexercice de la reacutedaction de QCM
ndash 1 Le leurre doit ecirctre reacutealiste son exclusion ne doit pas ecirctre eacutevidente ou relever drsquoun travail de deacuteduction plus qursquoun appel aux connaissances
ndash 2 le leurre ne doit comprendre qursquoun message au risque drsquoentraicircner le doute ou la confusion
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
CHOIX DES LEURRES
bull 3 Le leurre doit ecirctre autant que possible recruteacute dans le mecircme domaine que la bonne reacuteponse (options cliniques options para cliniques options theacuterapeutiqueshellip)
bull 4 Si des uniteacutes de mesures sont utiliseacutees il ne faut pas chercher agrave pieacuteger le candidat par des uniteacutes diffeacuterentes
bull 5 Enfin mais crsquoest une eacutevidence le leurre doit ecirctre faux de faccedilon indiscutable et consensuelle
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
augmenter le nombre de distracteurs afin de reacuteduire les
chances de trouver la bonne reacuteponse au hasard
- retirer des points en cas de reacuteponse incorrecte de maniegravere
agrave deacutecourager certains laquo parieurs raquo (ex -1 en cas de
mauvaise reacuteponse) etou valoriser lrsquoomission (cf les
diffeacuterents baregravemes aux pages 5 et 6)
- demander agrave lrsquoeacutetudiant de preacuteciser pour chacune de ses
reacuteponses le degreacute de certitude avec lequel il a opeacutereacute son
choix et en tenir compte dans la notation
Comment diffeacuterentier les choix dus au
hasard
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
bullEacuteviter de donner dans un item la reacuteponse agrave un autre item
du questionnaire
bull Varier la position de la(des) bonne(s) reacuteponse(s)
bull Eacuteviter les situations ougrave lrsquoeacutetudiant peut ecirctre tenteacute de srsquoen
remettre au hasard
bull Plusieurs items de difficulteacute varieacutee permettent drsquoeacutevaluer le
degreacute drsquoacquisition drsquoune notion
bull Pour reacutediger des distracteurs creacutedibles on peut srsquoaider des
mauvaises reacuteponses les plus freacutequemment observeacutees chez
les eacutetudiants
bull Eacuteviter une diffeacuterence entre deux distracteurs fondeacutee sur
une infime nuance
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Tester le questionnaire
Le questionnaire doit ecirctre testeacute par des collegravegues ou par des
eacutetudiants pour affiner
la reacutedaction
la notation et
estimer le temps neacutecessaire pour y reacutepondre
en geacuteneacuteral 15 minutes par QCM
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Dureacutee drsquoexposition agrave la QCM
bull il faut preacutevoir un temps de composition pour chaque
bull En moyenne on retient le principe drsquoune QCM par minute
bull Mais il est possible de preacutevoir que certaines QCM portant sur des connaissances laquo basiques raquo doivent ecirctre acheveacutees en 30 secondes et que drsquoautres pour lesquelles la lecture de la vignette ou des propositions de reacuteponse est longue requiegraverent 3 minutes de reacuteflexion
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Deacutefinir un systegraveme de notation
bull Pour cela il faut srsquointerroger sur les points suivants afin de fixer des regravegles
qui devront ecirctre preacuteciseacutees clairement au deacutebut du questionnaire
- Peut-il y avoir une ou plusieurs bonnes reacuteponses par item (dans le cas de
choix multiples)
-Comment valorise-t-on les reacuteponses exactes
-Attribue-t-on une peacutenaliteacute en cas de reacuteponse erroneacutee
- Lrsquoabsence de reacuteponse entraicircne-t-elle une peacutenaliteacute (pour inciter lrsquoeacutetudiant agrave
se prononcer)
bull Toutes les reacuteponses exactes peuvent ecirctre valoriseacutees de maniegravere identique
ou bien leur valeur peut ecirctre pondeacutereacutee suivant lrsquoimportance relative des
eacuteleacutements eacutevalueacutes
bull Les reacuteponses erroneacutees tout comme les reacuteponses absentes peuvent ecirctre
ignoreacutees ou bien geacuteneacuterer des peacutenaliteacutes qui peuvent ecirctre fixes ou variables
selon les questions
Certaines reacuteponses erroneacutees peuvent mecircme dans certaines eacutevaluations
sommatives ecirctre eacuteliminatoires
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Modes de pondeacuteration
bull Mode binaire le plus couramment utiliseacute
ndash 1048766 Bonne reacuteponse =1 point
ndash 1048766 Toute autre reacuteponse = 0 point
bull Au prorata drsquoautant plus de points que de bonnes reacuteponses
ndash 1048766 Deux bonnes reacuteponses (sur 2) = 1 point
ndash 1048766 Une bonne reacuteponse = frac12 point
ndash 1048766 Aucune bonne reacuteponse = 0 point
ndash Problegraveme des points neacutegatifs
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Cotation variable en fonction du niveau de difficulteacute ndash au niveau de la question une QCM difficile ne
comptera que pour 1 point une QCM portant sur un thegraveme essentiel comptera pour 3 points
ndash au sein mecircme de la question le choix drsquoun leurre jugeacute inacceptable pourra provoquer un 0 agrave la question le choix drsquoune des deux bonnes reacuteponses attendues pourra rapporter 075 point alors que le choix de lrsquoautre jugeacutee moins importante ne rapportera que 025 point
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Reacuteutilisation des eacutepreuves
bull Il est classique en France de laisser aux candidats le loisir de conserver agrave lrsquoissue de lrsquoeacutepreuve la listes des questions poseacutees Cette pratique a des effets deacuteleacutetegraveres agrave plusieurs titres ndash 1048766 Les candidats creacuteent des banques de QCM qui permettent
aux geacuteneacuterations qui les suivent un apprentissage avant lrsquoeacutepreuve forceacutement beacuteneacutefique Parfois on observe malheureusement que les eacutetudiants apprennent par coeur la bonne reacuteponse agrave des QCM incomprises
ndash 1048766 Les banques eacutetudiantes laquo eacutepuisent raquo les enseignants qui ne sont pas en mesure de produire pour chaque nouvel examen un nombre assez eacuteleveacute de nouvelles QCM de bonne qualiteacute
ndash 1048766 La sortie reacuteguliegravere de la mecircme question fait bien sucircr perdre la valeur du taux de bonnes reacuteponses si elle est attendue par les eacutetudiants
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
bull chaque anneacutee les eacutepreuves de QCM
doivent comporter au moins 60 de
questions nouvelles
bull le renouvellement peut porter sur
ndash un leurre
ndash une bonne proposition
ndash la formulation de la vignettehellip
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Questions drsquoancrage
bull A contrario il est neacutecessaire de faire usage chaque
anneacutee drsquoun quota (10 agrave 30) de questions drsquoancrage deacutejagrave valideacutees deacutejagrave utiliseacutees et pour lesquelles la performance des eacutetudiants est connue
bull Cette pratique permet de mesurer de faccedilon comparative les diffeacuterentes cohortes de candidats ndash Si une cohorte a reacutealiseacute une performance faible mais qursquoelle a
reacutepondu comme les cohortes preacuteceacutedentes aux questions drsquoancrage crsquoest que lrsquoeacutepreuve eacutetait de niveau de difficulteacute supeacuterieure agrave celle des anneacutees preacuteceacutedentes
ndash Si en revanche sa performance eacutetait aussi plus faible que les anneacutees preacuteceacutedentes sur les questions drsquoancrage crsquoest que le niveau de la promotion eacutetait infeacuterieur agrave celui de ses aicircneacutes
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Conclusion
La technique de reacutedaction des QCM est cruciale parce
qursquoelle doit permettre de deacutecerner jusqursquoagrave quel degreacute lrsquoeacutelegraveve
a atteint les objectifs fixeacutes
Des QCM mal faits ou mal coteacutes ne peuvent faire cette
eacutevaluation
- Elle est difficile parce qursquoil srsquoagit drsquoun travail qui demande de
la patience de la compeacutetence de la meacutefiance de la faculteacute
drsquoanticiper et de se mettre au niveau de celui qui apprend En
outre lrsquoeacutevaluation correcte des QCM pose des problegravemes de
cotation difficiles agrave eacutetablir et agrave faire accepter
-Les QCM sont de plus en plus souvent reacutealiseacutes sur
ordinateur Il faudra probablement creuser ces pistes
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Un oeil presbyte
a voit mal de loin
b voit mal de pregraves
c doit toujours ecirctre corrigeacute
d ne doit ecirctre corrigeacute que pour la
vision proche
e Aucune reacuteponse nrsquoest exacte
Lrsquoeacutenonceacute sera formuleacute sous une forme
positive et interrogative
Aucun de ces gaz nrsquoest un gaz organique
sauf un Lequel
a dioxyde de chlore (ClO2)
b acide sulfhydrique (H2S)
c amoniac (NH3)
d aceacutetone (CH3COCH3)
e Meacutethane (CH4)
Jean-Baptiste Lully
a eacutetait chargeacute de la direction laquo des petits
violons raquo
b est mort de la gangregravene
c eacutetait lrsquoennemi de Moliegravere
d eacutetait le compositeur de Louis XIV
e menait ses musiciens agrave la baguette
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Syntaxe
Structure de la phrase
bull Les phrases doivent ecirctre aussi courtes que
possible dans la vignette mais aussi dans les
propositions de reacuteponses
bull Il faut veiller agrave ce que la structuration de chaque
proposition de reacuteponse soit identique pour une
QCM donneacutee Toute variation dans la forme ou
dans lrsquousage de neacutegation constituera des piegraveges
ou des indicateurs pour lrsquoeacutetudiant Il identifiera
une proposition donneacutee non pas pour son
contenu mais pour sa forme
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Vocabulaire
Champ lexical
bull Les mots utiliseacutes ne doivent pas ecirctre
ambigus ni appartenir agrave un champ lexical
autre que celui qui est requis pour nos
candidats
bull Ne pas chercher agrave pieacuteger le candidat sur
lrsquoambiguiumlteacute drsquoun mot plus qursquoagrave eacutevaluer sa
connaissance
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Les alternatives doivent ecirctre
- approximativement de mecircme forme de mecircme longueur(restreinte) et de mecircme
degreacute de complexiteacute
- eacutegalement plausibles pour un eacutelegraveve non averti
- en nombre restreint
- sans artifices logiques
- disjointes cagraved il faut qursquoelles ne se recoupent pas
- distribueacutees au hasard cagraved que les alternatives vraies ne doivent pas
toujours occuper la mecircme place
Dans la reacutealisation de la structure tertiaire des proteacuteines
nrsquointerviennent pas les acides amineacutes
il serait faut de preacutetendre que les acides amineacutes ne jouent aucun rocircle
quelques acides amineacutes ne peuvent pas participer
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Check List de veacuterification lors de la reacutedaction drsquoun QCM
R1 la question mesure un objectif important drsquoapprentissage et se
rapporte au reacutefeacuterentiel
R2 lrsquoeacutenonceacute est composeacute drsquoune phrase drsquoune courte histoire clinique
drsquoune iconographie
R3 lrsquoenonceacute preacutesente un seul problegraveme agrave reacutesoudre
R4 lrsquoenonceacute utilise un langage simple et clair sans ambiguiteacute ni jugement
de valeur
R5 lrsquoeacutenonceacute est formuleacute agrave la forme affirmative ou interrogative
R6 les propositions sont au nombre de 5
R7 la bonne reacuteponse ressemble aux autres
R8 propositions homogegravenes dans leur forme leur contenu leur structure
grammaticale
R9 les propositions ne sont pas synonymes ne se chevauchent pas
R10 tous les distracteurs sont plausibles
R11 les propositions indispensables sont preacuteciseacutees
R 12 suivent les conseils typographiques A agrave E pas de majuscule
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Qualiteacutes attendues drsquoune eacutevaluation
Ajustement des questions en cours de route
Retour immeacutediat sur la compreacutehension de la question
Diagnostic fin quant agrave la profondeur des connaissances
Standardisation des consignes
Standardisation des corrections
Capaciteacute agrave couvrir toute la matiegravere
Temps de passation
Temps de correction
Simpliciteacute de la correction
Valorisation drsquoune reacuteaction rapide
Capaciteacute agrave appreacutehender les processus mentaux de
-connaissance
- compreacutehension
- application
- analyse
- synthegravese
- eacutevaluation
Capaciteacute agrave appreacutehender la creacuteativiteacute
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles
Capaciteacute agrave appreacutehender les compeacutetences orales
Capaciteacute agrave appreacutehender un raisonnement
Possibiliteacute de feed-back rapide et preacutecis
Risque de meacutemorisation drsquoinformations erroneacutees
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Qualiteacutes attendues drsquoune eacutevaluation agrave propos des QCM
Ajustement des questions en cours de route -
Retour immeacutediat sur la compreacutehension de la question -
Diagnostic fin quant agrave la profondeur des connaissances +-
Standardisation des consignes +
Standardisation des corrections +
Capaciteacute agrave couvrir toute la matiegravere +
Temps de passation +-
Temps de correction +
Simpliciteacute de la correction +
Valorisation drsquoune reacuteaction rapide +
Capaciteacute agrave appreacutehender les processus mentaux de
- connaissance +
- compreacutehension +
- application +
- analyse +-
- synthegravese -
- eacutevaluation -
Capaciteacute agrave appreacutehender la creacuteativiteacute -
Capaciteacute agrave appreacutehender les qualiteacutes reacutedactionnelles -
Capaciteacute agrave appreacutehender les compeacutetences orales -
Capaciteacute agrave appreacutehender un raisonnement -
Possibiliteacute de feed-back rapide et preacutecis +-
Risque de meacutemorisation drsquoinformations erroneacutees -
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr
Quelques reacutefeacuterences
bibliographiques
bull Lrsquoeacutelaboration des questions agrave choix
multiples avec Questy
httpwwwquestyfr