Upload
others
View
2
Download
0
Embed Size (px)
Citation preview
Année universitaire 2008-2009
MEMOIRE
pour le
DIPLÔME INTER-UNIVERSITAIRE
de PEDAGOGIE MEDICALE
Par
Catherine Miquel
Faisabilité et évaluation d’un outil pédagogique numérique
d’anatomie et cytologie pathologiques
Faculté de Médecine René-Descartes, Paris V
2
SOMMAIRE
I- INTRODUCTION………………………………………………………………………….3
1.1. Le besoin de supports numériques d’apprentissage en anatomie pathologique (ACP)
1.2. L’enseignement de l’ACP à Paris V : pourquoi faut-il l’améliorer ?
II- MATERIEL ET METHODES…………………………………………………………...4
2.1. Conception d’une banque de Vidéo-QCM et de VidéoQROC
2.2. Réalisation d’une épreuve fictive de Vidéo-QCM et de Vidéo-QROC
III- RESULTATS……………………………………………………………………………..7
3.1. Evaluation des épreuves
3.2. Enquête de satisfaction
IV. DISCUSSION ET PERSPECTIVES……………………………………………….…9
Résumé
A la Faculté de Médecine René-Descartes Paris V, a été réalisé, pour les étudiants, une
banque de Vidéo-QCM et Vidéo-QROC en anatomie et cytologie pathologiques, support
d’apprentissage visuel numérique. Ce nouvel outil pédagogique a été évalué sur un groupe
d’étudiants en DCEM1 lors d’une épreuve fictive de travaux pratiques d’anatomie
pathologique. La mise en place de ce nouvel outil a été accueillie favorablement par les
étudiants et les enseignants qui y voient un outil d’évaluation assurant un apprentissage
dynamique et stimulant de l’anatomie pathologique.
Mots Clés : Vidéo-QCM, anatomie et cytologie pathologiques
3
I. INTRODUCTION
1.1. Le besoin de supports numériques d’apprentissage en anatomie pathologique
Pour faire face au nombre important d’étudiants en médecine par promotion, la
tendance dans toutes les disciplines médicales est au recours massif vers les supports
numérique multimédias qui ont montré leurs intérêts pédagogiques dans l’enseignement et
l’évaluation. Les modalités d’enseignements de l’anatomie et cytologie pathologique (ACP)
repose sur la morphologie. Devant le parc de microscopes optiques vieillissants et les
contraintes budgétaires qu’impose leur maintenance et le renouvellement chaque année des
boîtes de préparations histologiques (lames de verre), de nouvelles méthodes pédagogiques et
d’évaluation numérique dans l’enseignement de l’ACP se développent. Outre le système des
lames virtuelles, les Vidéo-QCM apparaissent comme un nouvel outil pédagogique et
d’évaluation numérique, à développer dans les disciplines morphologiques comme la
radiologie, l’histologie, l’ACP ou l’anatomie. Les Vidéo-QCM sont utilisés avec succès au
sein la faculté de médecine et de Pharmacie de l’université de Rouen dans diverses disciplines
médicales. Cette faculté est d’ailleurs à l’origine d’une maquette permettant de construire un
Vidéo-QCM type.
L’objectif de ce travail était d’évaluer la faisabilité et l’acceptabilité des Vidéo-QCM
et Vidéo-QROC pour l’enseignement des travaux pratiques (TP) d’ACP.
1.2. L’enseignement de l’ACP à Paris V : pourquoi faut-il l’améliorer ?
L’objectif de l’enseignement de l’ACP en DCEM1 est que l’étudiant connaisse les
caractéristiques morphologiques des grandes familles de lésion et comprenne le principe de la
démarche diagnostique anatomo-clinique et le rationnel des conduites à tenir diagnostiques et
thérapeutiques. Ainsi, lors des TP, il apprendra à reconnaître en microscopie optique des
lésions élémentaires illustrant les principaux processus pathologiques à partir d’exemples. Le
contenu et les modalités d’enseignement de l’ACP en DCEM1 sont les suivantes:
Outre les 18 heures de cours magistraux, l’enseignement d’ACP comporte des
enseignements dirigés (ED) et TP. La promotion des DCEM1 (446 étudiants) est répartie pour
les TP/ED en 12 groupes de 36 étudiants sur 3 salles d’enseignement dont chacune est
équipée de 36 microscopes optiques. Chaque groupe a 14 séances de 1 heure 30 minutes
pendant lesquelles les préparations histologiques (lames de verre) sont présentées sous la
forme d’un diaporama, intégrées à un cas clinique, avant que les étudiants ne regardent eux-
mêmes les lames au microscope optique.
4
Le contrôle des connaissances comporte un examen sur les cours magistraux, un examen
partiel et final de TP au cours desquels les étudiants doivent reconnaître et commenter des
préparations histologiques représentatives des pathologies étudiées.
Au total, cet enseignement nécessite près de 2500 lames de verre par promotion (23
lames par étudiants) qui sont périssables et fragiles, et l’entretien et la maintenance d’un parc
de microscope vieillissants. Cet enseignement est coûteux pour l’UFR et sanctionné par une
abstinence des étudiants aux TP et ED. Une réponse à cet état des lieux pourrait être le
recours aux Vidéo-QCM et Vidéo-QROC. Ceux-ci utilisent un support Power Point et
intègrent de façon dynamique iconographie et texte.
II. MATERIELS ET METHODES
2.1. Conception d’une banque de Vidéo-QCM et de VidéoQROC
2.1.a. Vidéo-QCM : Principes, exemple
41 Vidéo-QCM (30 à choix simple et 11 à choix multiples) ont été rédigés, selon les
recommandations d’une maquette du Vidéo-QCM type élaborée par la faculté de médecine de
Rouen et les règles d’élaboration d’un QCM (J. Lechevallier). Chaque Vidéo-QCM est
construit de la façon suivante :
- La vignette. C’est la première partie du Vidéo-QCM. Elle situe le cadre et la thématique de
la QCM. La formulation de la vignette doit être courte et assez complète. L’étudiant ne doit
pas pouvoir répondre à la question s’il n’a pas correctement interprété l’iconographie.
- Cinq propositions de réponse. La multiplication des bonnes réponses possibles dans un
QCM diminue sa valeur discriminante. Les Vidéo-QCM à choix simple (n=30), qui
comportent 4 leurres et une seule bonne réponse ont été privilégiés. Seuls 11 Vidéo-QCM à
choix multiples ont été rédigés, c’est-à-dire que plusieurs bonnes réponses sont attendues
- L’iconographie. L’iconographie doit être de très bonne qualité, visible à distance et
permettre à l’étudiant de répondre au Vidéo-QCM.
- Durée d’exposition au Vidéo-QCM. Pour chaque QCM, il existe un compte à rebour : on
assiste au déroulement du temps imparti de secondes en secondes avant que l’on ne passe au
Vidéo-QCM suivant. Nous avons retenu le principe d’un Vidéo-QCM par minute.
5
Chaque Vidéo-QCM a été soumis pour relecture à trois experts : validité scientifique, absence
d’ambiguité des intitulés, qualité de l’iconographie, vérification du caractère incontestable des
réponses obtenues.
2.1.b. Vidéo-QROC : Principes et exemple.
23 Vidéo-QROC, exclusivement dédiés à la pathologie tumorale, ont été réalisés en utilisant
le modèle de la maquette des Vidéo-QCM (une vignette, une à 2 iconographies, une durée
d’exposition à la question chronométrée).
6
2.2. Réalisation d’une épreuve fictive de Vidéo-QCM et de Vidéo-QROC
Pour évaluer la pertinence et l’acceptabilité de cette méthode pour une utilisation lors de
l’examen définitif, nous avons présenté les 41 Vidéo-QCM et 23 Vidéo-QROC dans une
simulation d’examen à des étudiants de DCEM1. Leur réaction au matériel d'évaluation a aussi
été recueillie à l'aide d’un questionnaire anonyme (ANNEXE 1).
2.2.a. Population d’étude
Au total 143 étudiants de DCEM1 ont expérimenté les Vidéo-QCM et Vidéo-QROC.
- 143 étudiants (groupe 1) ont réalisé les 41 Vidéo QCM dédiés à la pathologie non tumorale,
au décours des 7 TP sur ces pathologies.
- 55 étudiants (groupe 2) ont expérimenté également les 23 vidéo QROC dédiés à la
pathologie tumorale au décours des 5 TP sur la pathologie tumorale.
Cette épreuve fictive de Vidéo-QCM et Vidéo-QROC a lieu alors que l’ensemble des
étudiants avait déjà expérimenté un examen partiel des TP basé sur l’examen de préparations
histologiques au microscope optique.
2.2.b. Déroulement de l’épreuve (cf.schéma ci-dessous)
- Salle de TP, un écran
- Vidéo QCM : 41 (1 minutes par QCM). 50 minutes de correction. 5 enseignants.
- Vidéo QROC : 23 (1 minute par Vidéo-QROC). 1h de correction. 1 enseignant
- Un questionnaire d’évaluation est remis aux étudiants à la fin.
- Pas de boîtier électronique pour les réponses, réponses sur support papier,
- Correction manuelle
2.2.c. Correction et analyse des résultats (cf ANNEXE 2):
Les étapes de l’analyse des questions ont été les suivantes
- Calcul du score de chaque étudiant et du taux de réussite.
La correction des Vidéo-QCM a choix simple a été binaire ; celle des Vidéo-QCM à choix
multiple a été pondérée. Les Vidéo-QROC sont corrigés en fonction d’une grille de
correction.
- Calcul de l’indice de difficulté et de discrimination pour chaque Vidéo-QCM (JJ Guilbert)
L’évaluation critique de chaque QCM se fait sur la base de ces deux indices. Ils permettent de
conserver, réviser ou de rejeter une question donnée.
7
L’analyse statistique utilise les tests t student et chi2.
III. RESULTATS
3.1. Evaluation des épreuves
Score des étudiants et taux de réussite
La moyenne SD des notes des Vidéo-QCM était significativement supérieure à celle des
Vidéo-QROC (10,44 2,98 versus 7,912,79) (p=0,00000010, test de student). Le taux de
réussite aux Vidéo-QCM était de 53% versus 24% aux Vidéo-QROC.
A l’examen final ou partiel de TP, la moyenne était de 12,45 5,76 DS et le taux de succès de
72,5%.
Indice de discrimination et indice de difficulté des Vidéo-QCM
- La moyenne SD de l’indice de discrimination des questions était de 0,30 0,13 et la
médiane de 0,51. Parmi les 41 Vidéo-QCM, huit ont été éliminées en raison d’un indice de
discrimination inférieur à 0,15 et neuf ont été revues car elles avaient un indice de
ED non tumoral
TP non tumoral (n=7) TP tumoral (n=5)
EXAMEN
PARTIEL EXAMEN
FINAL
ED tumoral
Révisions
Groupe 1
(n=143)
Groupe 2
(n=55)
41 Vidéo-QCM
(41 minutes)
Correction
(50 minutes)
23 Vidéo-QROC
(23 minutes)
Correction
(60 minutes)
Questionnaire Questionnaire
8
discrimination entre 0,15 et 0.24. Parmi les 17 questions revues ou éliminées, huit étaient des
QCM à choix multiples. Les QCM à choix simple tendent à être plus discriminants que les
QCM à choix multiples (Moyenne SD des indices de discrimination: 0,32 0,12 versus
0,25 0,13) sans atteindre cependant le seuil significatif (p=0,08, test de student).
- La moyenne SD de l’indice de difficulté des questions était de 45,61 21,5 et la médiane
de 63,82. Les QCM à choix simple sont significativement plus faciles que les QCM à choix
multiples (Moyenne SD: 50,07 19,43 versus 33,46 22,18 ; p=0,026, test de student).
3.2. Enquête de satisfaction
3.2.a. Evaluation par les étudiants des différentes méthodes pédagogiques
La comparaison des différentes méthodes pédagogiques (Vidéo-QCM, Vidéo-QROC et
méthode classique) montre des différences significatives en termes de niveau de difficulté et
d’appréciation globale (Annexe 3, test Chi2). Les Vidéo-QCM et Vidéo-QROC sont
appréciés par respectivement 42% et 56% étudiants avec une préférence nette pour les Vidéo-
QROC. Ces nouvelles méthodes ne supplantent cependant pas la méthode traditionnelle
(lames au microscope) qui est très appréciée par 85% des étudiants. L’utilisation des Vidéo-
QCM et Vidéo-QROC n’est pas souhaitée pour une évaluation certifiante par respectivement
62% et 59% des étudiants. Celle-ci est considérée plus difficile que la méthode traditionnelle.
3.2.b. Etude des différents paramètres influençant l’adéquation des Vidéo-QCM et Vidéo-
QROC pour une évaluation certifiante.
L’évaluation des différents paramètres n’a pas montré de résultats significativement différents
entre Vidéo-QCM et Vidéo-QROC (Annexe 3, test Chi2).
Positionnement de l’étudiant par rapport à l’écran : Environ la moitié des étudiants
était positionnée dans le premier tiers de la salle et la majorité sur les deux premiers tiers.
Cependant, il est à signaler l’absentéisme des étudiants aux TP/ED, non obligatoires.
la visibilité des illustrations des Vidéo-QCM et Vidéo-QROC a été jugée bonne ou
excellente par respectivement 57% et 71,8% des étudiants. 56% et 57% des étudiants
positionnés au troisième tiers de la salle l’ont également estimée bonne ou excellente.
le temps imparti pour la réponse des Vidéo-QCM et Vidéo-QROC a été jugé adapté par
respectivement 59,9% et 63% des étudiants.
9
Echelle de stress L’utilisation d’une échelle visuelle analogique (EVA) montre que
l’épreuve par Vidéo-QCM est une expérience significativement moins stressante que celle de
l’examen partiel des TP utilisant des lames au microscope (p=0,00000385). Cependant, les
copies par Vidéo-QCM étaient anonymes alors que l’examen partiel est noté.
IV- DISCUSSION ET PERSPECTIVES
Le développement de nouveaux outils pédagogiques en ACP est nécessaire pour les TP en
raison de l’effectif des étudiants, des contraintes budgétaires et ne peut que favoriser
l’attractivité de la discipline. Le système de lames virtuelles et les Vidéo-QCM apparaissent
comme des alternatives à l’enseignement traditionnel de la pathologie au microscope avec des
lames de verre.
Dans ce mémoire, je me suis intéressée à la Vidéo-QCM, méthode pédagogique numérique
multimédia innovante, présentant de nombreux avantages. Elle permet d’incorporer des
iconographies ou des schémas, ce qui ne peut que faciliter la compréhension des concepts
dans une discipline morphologique. Elle présente un intérêt pour de grands effectifs, offre
possibilité de balayer un grand champ de l’enseignement et assure une correction objective,
facile, fiable et immédiate en utilisant un boîtier électronique Parmi les inconvénients des
Vidéo-QCM, il est cité l’impossibilité de retour sur les énoncés et les réponses pour l’étudiant
par rapport à un QCM papier, la rigueur qu’exige la construction d’un QCM et le problème de
la lisibilité à distance dans un amphithéâtre (H. Marini et al.). H. Marini a montré que la
performance des étudiants est strictement équivalente entre les Vidéo-QCM et les QCM sur
papier. Il existe, néanmoins, peu d’expériences rapportées sur les qualités docimologiques des
Vidéo-QCM.
4-1. Construction d’une banque de Vidéo-QCM et Vidéo-QROC en ACP
Concernant la forme de Vidéo-QCM et Vidéo-QROC en ACP, nous avons montré que :
- La construction des questions doit être rigoureuse. L’étudiant ne doit pas pouvoir répondre à
la question sans avoir correctement interprété l’iconographie qui sera concise et lisible. Elle
doit suivre les règles d’élaboration d’un QCM en particulier un texte court, simple, non
ambiguë (J. Lechevallier).
- Les Vidéo-QCM à choix multiples doivent être évités car ils ont une faible valeur
discriminative et un indice de difficulté inadapté.
- La rédaction des Vidéo-QCM est difficile en pathologie tumorale : le champ des
connaissances à explorer est plus restreint qu’en pathologie non tumorale et fait appel à des
10
concepts plus qu’à la mémoire. Les leurres sont complexes à concevoir car le plus souvent
peu réalistes et une seule iconographie est souvent insuffisante pour pouvoir répondre à la
question. Les Vidéo-QROC pourront pallier avec efficacité à cette lacune des Vidéo-QCM.
- Le temps imparti pour la réponse aux questions de 60 secondes est adapté.
4-2. Place des Vidéo-QCM et Vidéo-QROC dans une évaluation formative
Dans ce mémoire, l’analyse du questionnaire a montré que les étudiants sont très attachés à
l’enseignement traditionnel des TP basé sur la pratique du microscope optique. Le
développement du système de lames virtuelles, alternative la plus proche du microscope
optique est donc une priorité. Néanmoins, la banque de Vidéo-QCM et Vidéo-QROC a été
accueillie favorablement par les étudiants (et les enseignants). C’est pour eux l’occasion
d’apprendre et d’enseigner autrement. Au moment de leur correction, l’interactivité entre les
étudiants et l’enseignant, et entre les étudiants eux-mêmes, est renforcée devant l’écran par
rapport à un microscope optique qui est un outil individuel. En cas de bonne réponse,
l’enseignant pourra apporter des éléments de réponse complémentaire ; en cas de mauvaise
réponse, il apportera un message de correction ou une explication de l’erreur. Ces méthodes
permettent de placer l’étudiant dans une situation d’apprentissage ciblée, plutôt que de le
laisser seul « en libre service » devant sa préparation histologique au microscope. L'étudiant
est immédiatement informé de la qualité de sa réponse et un véritable système d'auto-
évaluation est ainsi mis en place.
Ainsi, les Vidéo-QCM et Vidoé-QROC trouvent une place de choix dans l’évaluation
formative. Utilisés à la fin de chaque TP ou d’un module d’enseignement, ils permettent de
vérifier si les objectifs sont atteints, de fournir un feeb-back aux enseignants et aux étudiants
pour vérifier l’acquisition de leur connaissance avant de passer à la prochaine étape.
4-3. Place des Vidéo-QCM et Vidéo-QROC dans une évaluation certifiante
L’utilisation des Vidéo-QROC en évaluation certifiante est compromise pour plusieurs
raisons : (i) les épreuves par Vidéo-QROC sont plus sanctionnantes que celles par Vidéo-
QCM (ii) il est difficile de rédiger une Vidéo-QROC avec une seule iconographie, impliquant
des réponses courtes et sans ambiguité (iii) leur correction est plus longue que celle des
Vidéo-QCM et manque d’objectivité malgré l’établissement d’une grille de correction.
L’utilisation des Vidéo-QCM dans une évaluation certifiante est souhaitable malgré la
réticence des étudiants qui les jugent difficiles. Si les taux de réussite obtenus montrent qu’ils
sont plus sanctionnants que l’épreuve classique, ils ont l’avantage de permettre une correction
rapide et de balayer tout le champ du programme de pathologie non tumorale. Ils sont
particulièrement adaptés aux disciplines morphologiques et les QCM comportant des
11
documents iconographiques ont sans exception un excellent indice de discrimination par
rapport aux QCM sans iconographies, ce qui les rend particulièrement adaptés dans une
évaluation certifiante basée sur des QCM (F. Chrétien, FJ Authier). Avant d’utiliser les
Vidéo-QCM pour une évaluation certifiante, il faudra néanmoins : (i) éliminer de la banque
toutes les questions avec un niveau inacceptable de difficulté ou sans rapport avec la
formation donnée. (ii) vérifier dans une salle à distance la qualité de l’iconographie car un
défaut de lisibilité pourrait compromettre l’égalité des chances entre les étudiants (iii) limiter
la fraude qui est plus facile que pendant une épreuve classique où deux étudiants contigus
n’ont pas les mêmes lames. Dans un futur proche, il faudra coupler, lors de l’examen final, les
Vidéo-QCM aux lames virtuelles qui simulent le microscope optique. Cela permettra de lever
les réticences des étudiants à abandonner les lames de verre et de couvrir l’ensemble du
programme.
En conclusion, la Vidéo-QCM ou la Vidéo-QROC apparaissent de façon indéniable un
outil pédagogique pluridisciplinaire, particulièrement adapté aux disciplines morphologiques.
Dans le cadre des TP d’ACP, la mise en place de ce nouvel outil a été accueillie
favorablement par les étudiants (et les enseignants) et leur permet de travailler autrement, de
façon stimulante et dynamique. Les Vidéo-QCM et Vidéo-QROC pourront servir de
compléments aux lames virtuelles dans une évaluation formative. L’utilisation des Vidéo-
QCM dans une évaluation certificative pourra être envisagée en complément d’une évaluation
classique basée sur la reconnaissance et le commentaire d’une préparation histologique.
Remerciements. Ce travail a été réalisé avec la collaboration des enseignants d’anatomie et
cytologie pathologiques. Je remercie particulièrement le Pr J. Audouin (Hôpital Hôtel-Dieu)
et le Dr V. Bousson (Hôpital Lariboisière) sans qui ce projet n’aurait pas pu voir le jour.
REFERENCES
1) J J Guilbert. Guide pédagogique pour les personnels de santé. OMS. Genève. 1987
2) H Marini, C Girault, O Mouterde, JF Gehanno, A Liard, L Sibert, A Foret, JL Hermil, F Roussel, J
Lechevallier, J Ladner. Evaluation de la performance des Vidéo-QCM. Un essai randomisé croisé
comparant Vidéo-QCM et QCM-papier. Commission Evaluation, Bureau Pédagogique, UFR de
Médecine, Université de Rouen (France) http : //jufss.univ-lille2.fr/session10/5-11%20LADNER.pdf
3) F Chrétien. Etude docimologique des questions à choix multiples de l’épreuve d’histologie du
concours de PCEM1 à la faculté de médecine de Créteil/Paris XII. http://pedagogie.medicale.free.fr
4) F-J Authier. Calcul de l’indice de discrimination des QCM. Application à l’évaluation
rétrospective de cinq épreuves d’Embryologie et Biologie du Développement de PCEM1 à la faculté
de médecine de Créteil/Paris XII http://pedagogie.medicale.free.fr
5) J Lechevallier. Règles d’élaboration d’une évaluation par questions à choix multiples. Site :
www.sofop.org.
12
ANNEXE 1 : QUESTIONNAIRE
EVALUATION DES METHODES PEDAGOGIQUES PAR LES ETUDIANTS
ENSEIGNEMENT HABITUEL SUR LES LAMES AU MICROSCOPE
Votre appréciation globale sur l’enseignement habituel, portant sur les lames au microscope
des travaux pratiques d’anatomie pathologique est :
A= Excellente ; B= Bonne ; C= Moyenne ; D= Passable ; E= Mauvaise
Vous trouvez l’examen classique, portant sur des lames au microscope :
A= Facile ; B= pas très facile ; C= Difficile ; D= impossible
Comment évaluez vous votre stress sur cette échelle, lors de l’examen classique sur lames au
microscope ?
VIDEO-QCM
Votre appréciation globale des Vidéo-QCM est :
A= Excellente ; B= Bonne ; C= Moyenne ; D= Passable ; E= Mauvaise
Vous trouvez que l’évaluation par les Vidéo-QCM est :
A= Facile ; B= pas très facile ; C= Difficile ; D= impossible
A quel endroit étiez-vous assis lors des Vidéo-QCM ?:
= 1er tiers de la salle; B= 2ème tiers de la salle ; C= 3ème
tiers de la salle
La visibilité des illustrations des Vidéo-QCM était globalement :
A= Excellente ; B= Bonne ; C= Moyenne ; D= Passable ; E= Mauvaise
Pour répondre aux questions des Vidéo-QCM, vous jugez globalement que :
A= vous aviez besoin de plus de temps ; B= vous aviez besoin de moins de temps ; C= le
temps imparti était adapté
Comment évaluez vous votre stress sur cette échelle (ci dessus), lors des Vidéo-QCM ?
Préfériez-vous qu’un examen par des Vidéo-QCM remplace l’examen classique portant sur
des lames au microscope :
A= Oui ; B= Non ; C= ne sait pas
VIDEO-QROC
Votre appréciation globale des Vidéo-QROC est:
A= Excellente ; B= Bonne ; C= Moyenne ; D= Passable ; E= Mauvaise
Vous trouvez que l’évaluation par les Vidéo-QROC est :
A= Facile ; B= pas très facile ; C= Difficile ; D= impossible
A quel endroit étiez-vous assis lors des Vidéo-QROC ? :
A= 1er tiers de la salle ; B= 2ème tiers de la salle ; C= 3ème tiers de la salle
La visibilité des illustrations des Vidéo-QROC était globalement:
A= Excellente ; B= Bonne ; C= Moyenne ; D= Passable ; E= Mauvaise
Pour répondre aux questions des Vidéo-QROC, vous jugez globalement que :
A= vous aviez besoin de plus de temps ; B= vous aviez besoin de moins de temps ; C= le
temps imparti était adapté
Préfériez-vous qu’un examen par des Vidéo-QROC remplace l’examen classique portant sur
des lames au microscope :
A= Oui ; B= Non ; C= ne sait pas
0 5 10
Pas de stress Très stressant
13
ANNEXE 2 : CORRECTION ET ANALYSE DES RESULTATS DES VIDEO-QCM
Mode pondération des Vidéo-QCM
Pour les Vidéo-QCM, les modes de pondération des QCM sont différents selon qu’il s’agit
d’un QCM à choix simple ou d’un QCM où plusieurs choix peuvent être faits.
- Dans un QCM où il faut choisir une seule réponse ; la notation est binaire :
Bonne réponse =1 point,
Toute autre réponse = 0 point
- Dans un QCM où deux ou plusieurs choix doivent être faits, la notation est pondérée au
prorata des bonnes réponses. Dans cette formule, le candidat totalise d’autant plus de points
qu’il a fourni de bonnes réponses.
Deux bonnes réponses (sur 2) = 1 point
Une bonne réponse (sur 2)= ½ point
Aucune bonne réponse = 0 point
Certaines mauvaises réponses seront sanctionnées : une mauvaise réponse est
sanctionnée de 0,2 point. Deux mauvaises réponses sont sanctionnées de 0,5 point.
Aucun point négatif n’a cependant été attribué.
Calcul de l’indice de difficulté et de discrimination
Parmi les étudiants, on distingue trois tiers : ceux des forts, des moyens et des faibles, selon
les recommandations de JJ.Guilbert (Guide OMS).
On dénombre :
F : nombre de réponses justes dans le groupe des forts
f : nombre de réponses justes dans le groupe des faibles
N : nombre total d’étudiants appartenant aux groupes des forts et des faibles.
Le calcul des indices s’est fait selon les formules suivantes :
L’indice de difficulté= F+f/ N x100
L’indice de discrimination=2x(F-f)/N
- L’indice de discrimination est le chiffre qui permet de déterminer dans quelle mesure une
question est assez sélective pour distinguer un groupe « fort » d’un groupe « faible »
d’étudiants. Il varie de -1 à +1. Plus cet indice est élevé, plus la question permet de faire la
différence entre un groupe « fort » et un groupe « faible ». Si l’indice de discrimination d’une
question est :
- de 0 ,35 et plus : la question est excellente
- de 0,25 à 0,34 : la question est bonne
- de 0,15 à 0,24 : la question est à revoir
- <0,15 : la question est mauvaise
- L’indice de difficulté d’une question permet de déterminer dans quelle mesure une question
est facile ou non. C’est le pourcentage d’étudiants ayant répondu correctement à une question.
Il varie de à 0 à 100%. Plus cet indice est élevé, plus la question est facile. En principe, une
question avec un indice de difficulté entre 30% et 70% est acceptable.
14
ANNEXE 3 : ANALYSE DU QUESTIONNAIRE D’EVALUATION
Appréciation globale des méthodes pédagogiques
Enseignement habituel
(lames au microscope)
(N=139)
Vidéo-QCM
(N=138)
Vidéo-QROC
(N=50)
A= Excellente 15,1% (21/139) 2,1% (3/138) 4% (2/50)
B= Bonne 69,8 % (97/139) 40% (55/138) 52% (26/50)
C= Moyenne 14,4% (20/139) 38,4% (53/138) 26% (13/50)
D= Passable 0% (0/139) 15,2% (21/138) 16% (8/50)
E= Mauvaise 0,7% (1/139) 4,3% (6/138) 2% (1/50)
Test Chi2 : p=1,45 10-11
0,00%
10,00%
20,00%
30,00%
40,00%
50,00%
60,00%
70,00%
Excellente Bonne Moyenne Passable Mauvaise
Appréciation générale des méthodes pédagogiques
Vidéo-QCM Vidéo-QROC Méthode classique (lames)
15
Acceptabilité de la méthode pédagogique pour une évaluation certifiante
Un examen par
des Vidéo-QCM ?
Un examen par
des Vidéo-QROC ?
A= Oui 12,3% (17/138) 13% (7/54)
B= Non 62,3% (86/138) 59% (32/54)
C= ne sait pas 25,4% (35/138) 28% (15/54)
Test Chi2 : p=0,92
Evaluation du niveau de difficulté des méthodes pédagogiques
Examen classique (lames au
microscope) (N=137)
Vidéo-QCM
(N=137)
Vidéo-QROC
(N=54)
A= Facile 7,3% (10/137) 2,1% (3/137) 2 % (1/54)
B= pas très
facile
52,5% (72/137) 38 % (52/137) 33,3% (18/54)
D= Difficile 37,2% (51/137) 52,6% (72/137) 55,5% (30/54)
E= impossible 3 % (4/137) 7,3 % (10/137) 9,2% (5/54)
Test Chi2 : p=0,006
0
10
20
30
40
50
60
Facile Pas très facile Difficile Impossible
Evaluation des méthodes pédagogiques
Vidéo-QCM Vidéo-QROC Examen classique (lames)
16
Positionnement de l’étudiant par rapport à l’écran
Vidéo-QCM (n=138) Vidéo-QROC (n=53)
A= premier tiers de la salle 46,4 % (64/138) 55 % (29/53)
B= deuxième tiers de la salle 42% (58/138) 32 % (17/53)
C= troisième tiers de la salle 11,6% (16/138) 13% (7/53)
Test Chi2=0,45
Visibilité des illustrations
Vidéo-QCM (n=135) Vidéo-QROC (n=53)
A= Excellente 8% (11/135) 9,5 % (5/53)
B= Bonne 49% (66/135) 62,3% (33/53)
C= Moyenne 29% (39/135) 20,7% (11/53)
D= Passable 9,6% (13/135) 5,6% (3/53)
E= Mauvaise 4,4% (6/135) 1,9% (1/53)
Test Chi2 : p=0,45
Temps imparti pour la réponse
Temps imparti Vidéo-QCM (n=137 Vidéo-QROC (n=54)
A= vous aviez besoin de plus de temps 32,8% (45/137) 35% (19/54)
B= vous aviez besoin de moins de temps 7,3% (10/137) 2 % (1/54)
C= le temps imparti était adapté 59,9% (82/137) 63% (34/54)
Test Chi2 : p=0,35
Echelle de stress
Examen classique (n=119) Vidéo-QCM (n=115)
Moyenne (médiane) 5,5 +/- 3,02 (5,5) 3,5 +/-3,27 (3)
Test de Student p= 0,00000385