Upload
buitruc
View
218
Download
0
Embed Size (px)
Citation preview
SIDES* : l’évaluation programmée par tablette numérique dans le cadre de
l’ECN en France*Système Informatique Distribuéd’Evaluation en Santé
Septembre 2014
1
Dominique Maillard – Jocelyne Gervais – Université Paris-Diderot – Paris VIIEt la collaboration de Daniel Pagonis et Olivier Palombi – Responsable national SIDES
Faculté de Médecine
Programme
Atelier CIDMED
2
13 mars 2014
1. Tour de table
2. Pourquoi une réforme docimologique de l’ECN
3. L’outil SIDES
4. Conception des DP et QI
5. L’analyse docimologique classe inversée
Faculté de Médecine
3
Septembre 2014
Tour de table
Faculté de Médecine
Utilisation d’un outil de vote
• Connectez-vous à http://2reply.net/• Cliquez sur
• Indiquez le n° ID indiqué oralement
• Répondez à la question
4
Septembre 2014
Faculté de Médecine
Question 1
• Evaluez-vous dans vos milieux respectifs, les compétences acquises des étudiants en médecine pour leur autoriser l’accès à l’internat ou résidence ?
Oui Non
5
Septembre 2014
Faculté de Médecine
Question 2
• Quels types d’examen de fin d’étude pré-doctorales ?
A. ValidantB. ClassantC. Autre
6
Septembre 2014
Faculté de Médecine
Question 3
• Quels sont vos formats d’examen ?
A. QCMB. TCSC. ECOSD. QRE. Entretiens
7
Septembre 2014
Faculté de Médecine
Question 4
• Utilisez-vous les résultats académiques antérieurs ? Oui Non
8
Septembre 2014
Faculté de Médecine
9
Septembre 2014
Pourquoi une réforme docimologique de l’ECN ?
Faculté de Médecine
Les épreuves classantes nationales en France
10
Septembre 2014
Faculté de Médecine
Utilisation des résultats de l’ECN ?
• Selon leur rang et leur affinités, les étudiants : Choisissent leur spécialités parmi 11 possibles :
Spécialités médicales, chirurgicales, Anesthésie ‐Réanimation, Biologie, Gynécologie médicale, Gynécologie ‐ Obstétrique, Médecine générale (de famille), Pédiatrie, Psychiatrie, Santé publique.
Choisissent la faculté de Médecine où ils valideront leur spécialité.
11
Septembre 2014
Faculté de Médecine
Distribution des notes (2006)
12
Septembre 2014
4489/4893 candidats (92%) sont classés entre 400 and 700 points
1 point / 900 = 15 places1 point / 20 = 676 places
From J. Lechevallier (Rouen)
Faculté de Médecine
Le dossier clinique classique
13
Septembre 2014
Faculté de Médecine
Proposition de réforme ECN
14
Septembre 2014
Faculté de Médecine
Nouveaux contenus avec multimédia
• Dossier progressif (DP)▫ Réponses ouvertes et fermées▫ Suite logique de questions sans la possibilité de revenir
sur les réponses précédentes
• Question isolée (QI)▫ QRU, QRM et QROC
• LCA▫ Plus de résumé▫ Un dossier progressif
• TCS▫ Gestion de l’incertitude▫ Discrimination excellente
15
Septembre 2014
Faculté de Médecine
Le nouvel ECNi juin 2016
16
Septembre 2014
• DP 7000 pts : 24 Dossiers cliniques Progressifs, 292 pts par DP, 15 questions/DP, 30 min par DP, soit 4 ½ journées).
• QI 2000 pts : 120 Questions Isolées, 17 pts/QI, 1 min 30 par QI, soit une ½ journée.
• LCA 1000 pts : 2 articles à analyser, 15 QI par articles, 33 pts/QI, 8 min/QI.
et• TCS 500 pts : 60 questions, 1 min par questions
à partir de 2017.
Sur 10 000 points – 6 demi-journées de 3h
Faculté de Médecine
Mise en œuvre des ECNi
17
Septembre 2014
Faculté de Médecine
18
Septembre 2014
Faculté de Médecine
SIDES : Système Informatique Distribué d’Evaluation en Santé
19
Septembre 2014
Plates-formes WEB dédiée à la docimologiePermet la réalisation d'examens sur tablettesPermet l’entraînement des étudiants
Faculté de Médecine
20
Septembre 2014
L’outil SIDES
Faculté de Médecine
SIDES : un réseau de plateforme
21
Septembre 2014
Faculté de Médecine
Le dossier clinique progressif
22
Septembre 2014
Faculté de Médecine
Au total :
23
Septembre 2014
Faculté de Médecine
Le contenu multimédia
24
Septembre 2014
Faculté de Médecine
Les vidéos
25
Septembre 2014
Faculté de Médecine
Les différentes banques de questions
26
Septembre 2014
Alimentée par nos dossiers dès Février 2014 !
Faculté de Médecine
Critères de sélection d’un DP dans la banque nationale
27
Septembre 2014
Critères prérequis (obligatoire)1. Liens avec les items de l’ECN2. Liens avec les documents de référence des collèges3. Iconographie présente dans les documents de
référence4. Conditions pour les examens
1. Nombre de questions entre 12 et 152. Nombre d’items entre 5 et 8.
Critères statistiques (post-examen)1. Taux de réussite (TR) > 50 %2. Indice de Kurtosis < 43. Ecart-type > 20 (dossier noté sur 100)
Faculté de Médecine
28
Septembre 2014
Conception des DP et QI
Faculté de Médecine
L’interface utilisateur SIDES
29
Septembre 2014
Faculté de Médecine
« Jouer un DP »
• Connexion SIDES :
30
Septembre 2014
Identifiant et mot de passe
Identifiants Mots de passe
par7.ctest01 test01
par7.ctest02 test02
… …
Cliquez sur et attendez le n°
Connectez vous à :
http://www.side-sante.fr
Faculté de Médecine
Le numéro d’examen
31
Septembre 2014
1DB6D454
Compte test
Faculté de Médecine
A la fin de l’épreuve
32
Septembre 2014
Faculté de Médecine
33
Septembre 2014
Pause
Faculté de Médecine
Travail de groupe
34
Septembre 2014
• Vous venez de « jouer » un DP.• Quelles sont vos interrogations sur la conception des
DP ?▫ Merci de vous mettre en groupe de 6 à 7 personnes.▫ Écrivez vos questions, suggestions, préconisations
sur un post-it (une question, suggestion… par post-it).
Faculté de Médecine
Conception des questions
35
Septembre 2014
Faculté de Médecine
Conception des questions
36
Septembre 2014
Questions sur la clinique, thérapeutique, mais aussi schéma anatomique, physiopathologie, santé publique, etc. Utilisation d’objets multimédia (photos, films…) :
entretiens avec malades, gestes d’examen clinique, radiographies, TDM, photos de lésions… Liens avec les items de l’ECN (ou compétences à
acquérir) 15 questions par DP et 5 propositions de réponses
par questions. Pondération d’une question : 1, 2 ou 3 Pondération des réponses : indispensable,
inacceptable ?
Faculté de Médecine
QROC - Préconisations
37
Septembre 2014
Indiquer pour la réponse attendue le nombre de mots maximum.
Question précise, sans ambiguïté ou subjectivité.Exemple :
Citer le médicament souvent préconisé pour…Quel est le meilleur…
Faculté de Médecine
Pondération des questions
38
Septembre 2014
Faculté de Médecine
Au total
• Choix des objectifs (en France items de l’ECN)• Qualité des questions▫ Pas d’ambiguïté▫ Contextualisation • 15 questions/DP, • 5 propositions de réponse si QCM (QRU ou QRM)
39
Septembre 2014
Faculté de Médecine
40
Septembre 2014
L’analyse docimologique La classe inversée
Faculté de Médecine
Correction des questions
41
Septembre 2014
Faculté de Médecine
Correction par concordance des QRM
42
Septembre 2014
Faculté de Médecine
Accès aux statistiques d’un examen
43
Septembre 2014
Faculté de Médecine
Analyse des résultats d’un DP
44
Septembre 2014
Faculté de Médecine
Analyse des résultats d’un DP
45
Septembre 2014
Faculté de Médecine
Analyse statistique d’un DP
46
Septembre 2014
Faculté de Médecine
Analyse statistique
47
Septembre 2014
Faculté de Médecine
Analyse des résultats du premier examen sur tablette en DFASM1
Retour d’expérience
48
13 mars 2014
A – QRM
5 items
2 à 3 maximum bonnes réponses
Des pondérations pertinentes
Faculté de Médecine
Analyse des résultats du premier examen sur tablette en DFASM1
Retour d’expérience
49
13 mars 2014
A – QRM
Trop d’items : Certains
distracteurspourraient
éliminés facilement si ce
dossier est représenté d’ici
quelques années
Distracteur inutile
Hasard ????
Faculté de Médecine
Analyse statistique d’un DP
50
Septembre 2014
Faculté de Médecine
Analyse statistique d’un DP
51
Septembre 2014
Faculté de Médecine
Coefficient de Kurtosis et de d’asymétrie
52
Septembre 2014
Faculté de Médecine
Statistique
53
Septembre 2014
Faculté de Médecine
statistiques
54
Septembre 2014
Faculté de Médecine
Utilisation des statistiques
55
Septembre 2014
Faculté de Médecine
Critères de sélection d’un DP dans la banque nationale
Critères prérequis (obligatoire)1. Liens avec les items de l’ECN2. Liens avec les documents de référence des collèges3. Iconographie présente dans les documents de
référence4. Conditions pour les examens
1. Nombre de questions entre 12 et 152. Nombre d’items entre 5 et 8.
Critères statistiques (post-examen)1. Taux de réussite (TR) > 50 %2. Indice de Kurtosis < 43. Ecart-type > 20 (dossier noté sur 100)
Septembre 2014
Faculté de Médecine
57
Septembre 2014
Les conséquences sur la formation des étudiants
Faculté de Médecine
Les conséquences sur la pédagogie
• Le changement de paradigme docimologique Paradigme pédagogique
• Nouveaux usages, approches et stratégies d’apprentissage des étudiants : Autonomie de recherche et d’apprentissage des savoirs
fondamentaux Travail en réseau
• Nouveau rôle des enseignants : Eduquer les élèves à rechercher et consulter les bonnes ressources
grâce à un esprit critique, Développer l’entraide des étudiants et le partage de leurs
découvertes et de leur compréhension de diverses situations amenées par l’enseignant.
58
Septembre 2014
Faculté de Médecine
Les conséquences sur la pédagogie
Passer d’une évaluation normative à une évaluation formative.
59
Septembre 2014
Faculté de Médecine
Le principe de la classe inversée
60
Septembre 2014
En classe
A la maison
Introduction d’un nouveau contenu (savoirs fondamentaux) : Mise à disposition des référentiels, Vidéos, Bibliographie, liens internet Tests d’autoévaluation des savoirs…
Renforcement de l’acquisition du contenu (questions, travaux en groupe, précisions, etc.)Personnalisation des interventions éducatives des enseignants
libérer du temps en classe afin que l’enseignant intervienne de façon active auprès d’élèves actifs.
Image : http://www.classeinversee.com/
Faculté de Médecine
Exemple : Maladies infectieuses
61
Septembre 2014
Maquette globale :• 1 ED sur l’utilisation des anti-infectieux +
infection nosocomiale = 4 heures
• 6 Séminaires dont 1 infectio-pédiatrie = 4 heures/séminaire
+ Implication d’enseignants d’autres disciplines+ Implication systématique des CCA
• Mise à disposition sur les plateformes : Référentiel QCM d’autoévaluation Dossiers progressifs
28 h. d’enseignements + de travail préparatoire
en autonomie pour l’étudiant (+/- 20 h.)
Faculté de Médecine
Exemple : Maladies infectieuses
62
Septembre 2014
En classe
A la maison
Sur la plateforme interne Didel (Claroline) : Programme affiché (ECN-Pilly)QCM d’auto-évaluation
Sur SIDES :Dossiers progressifs à réaliser avant les séminaires
Correction interactive des dossiers progressifs
adapter les corrections en fonction des réponses et des statistiques
Enseignant : analyse des statistiques
Faculté de Médecine
63
Septembre 2014