View
108
Download
0
Category
Preview:
Citation preview
Édition : serge.normand@umontreal.ca
Grillesd’observation
Serge Normand, M.A.
Docimologue
Faculté de médecineBureau d’évaluationDocimologie appliquée aux sciences de la santé
Atelier
Édition : serge.normand@umontreal.ca
Évaluer la compétence clinique ?
Définir …
Édition : serge.normand@umontreal.ca
Clinical professional competence
The ability to gather data from the patient by history and physical examination, integrate this information into a diagnostic formulation, select appropriate investigations to confirm the diagnosis, and institute efficacious management ( Norman 1981 )
The habitual and judicious use of communication, knowledge, technical skills, clinical reasoning, emotions, values, and reflection in daily practice for the benefit of the individual and community being served ( Epstein and Hundert 2002 )
Epstein, RM and EM Hundert, Defining and Assessing Professional Competence, JAMA, Vol 287, No 2, 2002
Defining and Assessing Professional Competence: A Framework for Assessment
Édition : serge.normand@umontreal.ca
Évaluer la compétence clinique ?
• Observations• Examens oraux• QCM
• Patientsstandardisés
• ECOS, CPX
75 % préclinique63 % clinique
LCME 2004
Édition : serge.normand@umontreal.ca
Évaluer la compétence clinique
Epstein, RM and EM Hundert, Defining and Assessing Professional Competence,JAMA, Vol 287, No 2, 2002
Édition : serge.normand@umontreal.ca
Grille d’évaluation
1. Critères
2. Niveaux qualitatifs
( échelle
descriptive )
3. Stratégie de
notation
1. Critères
2. Niveaux qualitatifs
( échelle
descriptive )
3. Stratégie de
notation
• Geste technique• Attitude• Entrevue• Examen physique• Etc.
Édition : serge.normand@umontreal.ca
Observation directe
• Fait / non fait
• Présent / absent
• Adéquat / inadéquat
• Satisfaisant / non
satisfaisant
• Etc.
• Fait / non fait
• Présent / absent
• Adéquat / inadéquat
• Satisfaisant / non
satisfaisant
• Etc.
Liste de vérification( Checklist )
• Performance
supérieure
• Réussite certaine
• Réussite limite
• Échec limite
• Échec certain
• Performance
supérieure
• Réussite certaine
• Réussite limite
• Échec limite
• Échec certain
Grille d’évaluation( Rating Form )
Édition : serge.normand@umontreal.ca
Observation directe
Whelan and al., Medical Teacher 2005 : 3; Huber and al. Medical Education 2005 : 39; Kogan and al., Teaching and Learning in Medicine 2005 : 17(2); Gorter and al, Academic Medicine 2000 : 75(11)
• Fait / non fait
• Présent / absent
• Adéquat /
inadéquat
• Satisfaisant / non
satisfaisant
• Etc.
• Fait / non fait
• Présent / absent
• Adéquat /
inadéquat
• Satisfaisant / non
satisfaisant
• Etc.
Liste de vérification( Checklist )
• Observation « dichotomique »
• Adaptée au contexte
• 10 – 30 items
• Pondération
• Niveau du candidat
Édition : serge.normand@umontreal.ca
Grille d’évaluation
SCALLON, Gérard, L’évaluation des apprentissages dans une approche par compétences, Édition du renouveau pédagogique, 2004
Critère : coopération ( échange des idées )
Échelleuniforme
Excellente Satisfaisante Insatisfaisante
Échelledescriptive
Donne ses idées et
accepte celle des autres
Donne ses idées ou
accepte celles des autres
Ne donne pas d’idée et
n’accepte pas celles des
autres
Édition : serge.normand@umontreal.ca
Grille d’évaluation
Élaboration de la grille
Un travail d’équipe !
Édition : serge.normand@umontreal.ca
Grille d’évaluation
Échelle descriptive
Ou
Échelle uniforme
Échelle descriptive
Ou
Échelle uniforme
Favorise la rétroaction
Mieux adaptéeau candidat « expert »
Édition : serge.normand@umontreal.ca
Établir des normes de réussite Setting Performance Standards
C o m p é t e n c e s
Niveauacceptable
Édition : serge.normand@umontreal.ca
Déterminer la note de passage
Sources d’information
Données recueillies Jugement d’experts
Distributiondes
résultats
Caractéristiquesdes
questions
“Examinee centered” “Test centered”
Édition : serge.normand@umontreal.ca
Grille1.
2.
3.
4.
5.
6.
7.
TOTAL
Éval. Globale 1 2 3 4 5
1 = Échec
2 = Limite insuffisant
3 = Limite suffisant
4 = Attendu
5 = Excellent
Moyennes
des scores
par examinateurs
( selon la méthode Borderline Group )
Déterminer la note de passage - ECOS
Édition : serge.normand@umontreal.ca
( selon la méthode Borderline Group )
Moyennes des Moyennes par examinateurexaminateurs
Ex. A Ex. B Ex. C Ex. D Ex. E Ex. F92,8 Excellent 99,0 88,0 96,0 96,0 88,0 90,076,5 Attendu 82,6 73,2 78,5 77,8 74,9 72,260,0 Limite / Suffisant 53,5 64,0 64,0 58,451,0 Limite / Insuffisant 51,0
Nombre de candidats par examinateur
Ex. A Ex. B Ex. C Ex. D Ex. E Ex. F12 Excellent 1 2 1 1 3 4
163 Attendu 30 23 30 31 22 2716 Limite / Suffisant 6 2 1 7 1 Limite / Insuffisant 1
Déterminer la note de passage - ECOS
Édition : serge.normand@umontreal.ca
Épreuve ECOSCohorte Limite / Suffisant
MoyennesStation n A B C
S1 16 57,6 58,9 60,0S2 17 68,5 69,6 69,2S3 6 63,2 63,2 61,8S4 30 72,1 69,5 70,3S5 24 65,0 66,1 64,5S6 16 67,2 67,4 63,8S7 25 65,5 64,2 62,2S8 20 63,6 62,9 59,5S9 25 69,7 66,1 64,8S10 10 62,5 63,5 64,3
Moyenne 18,9 65,5 65,1 64,0
( selon la méthode Borderline Group )
Déterminer la note de passage
Édition : serge.normand@umontreal.ca
Déterminer la note de passage( selon la méthode de Ebel )
Diffi culté
Pertinence Facile Moyenne Diffi cile
+ + + + (80%)
(70%)
(60%)
+ + + (70%)
(60%)
(50%)
+ + (60%)
(50%)
(40%)
+ (50%)
(40%)
(30%)
Situez chaque question ou élément de questions qui composent l’examen dans les cellules de cette grille; par exemple, une questions de 3 points comportera 3 entrées dans la grille.
Dans chaque cellule, une proportion de questions qu’un candidat à compétence acceptable devrait réussir est proposée.
Pour chaque cellule, multipliez le nombre de questions (ou d’éléments) par le pourcentage correspondant et faites ensuite la somme de ces produits.
La valeur obtenue divisée par le nombre total de questions (ou d’éléments) constitue le seuil acceptable de performance pour cet examen exprimé en pourcentage.
Édition : serge.normand@umontreal.ca
Déterminer la note de passage( selon la méthode de Ebel )
Diffi culté
Pertinence Facile Moyenne Diffi cile
+ + + +(80%)
14(70%)
4(60%)
2
+ + +(70%)
9(60%)
12(50%)
7
+ +(60%)
4(50%)
13(40%)
5
+(50%)
1(40%)
1(30%)
0
Nombre de questions : 72
SAP : 61 %
Édition : serge.normand@umontreal.ca
Déterminer la note de passage( selon la méthode « Direct Borderline » )
Indiquez pour chaque question si un candidat à compétence acceptable devrait répondre correctement à la question.
Le nombre total de « OUI » divisé par le nombre total de questions constitue le seuil acceptable de performance pour cet examen exprimé en pourcentage.
Question 1 ouinon
Question 2 ouinon
Question 3 ouinon
Question … ouinon
Question … ouinon
Question 25 ouinon
ExempleNombre de questions: 25Nombre de OUI : 16SAP : 64 %
Édition : serge.normand@umontreal.ca
Déterminer la note de passage( selon la méthode Hofstee )
0%
5%
10%
15%
20%
25%
30%
35%
40%
45%
50%
55%
60%
65%
70%
75%
80%
85%
90%
95%
100%
30 32 34 36 38 40 42 44 46 48 50 52 54 56 58 60 62 64 66 68 70 72 74 76 78 80
Scores
Ta
ux
d'é
ch
ec
Kmax Note de passage maximum 60Kmin Note de passage minimum 50Fmax % maximum d'échecs 30%Fmin % minimum d'échecs 10%
Recommended