Normes pour la rédaction et la correction de questions QCR, QROC et de problèmes à éléments-clé. Michel Girard MD MHPE FRCP(C) Directeur Serge Normand

Normes pour la rédaction et la correction de questions QCR, QROC

et de problèmes à éléments-clé.

Michel Girard MD MHPE FRCP(C)

Directeur

Serge Normand MA

DocimologueBureau d’évaluation

Faculté de médecine

Plan Historique Pourquoi les QCR? Vrai/faux vs « La meilleure réponse » Vrai/faux Les niveaux taxonomiques simplifiés La meilleure réponse, type QROC Problèmes à éléments-clé (Q4) Quelques conseils pour la correction

HistoriqueNBME

1916

2002

Questions à développement et orales

Différents types de questions QCR (A, B, C & K)

On utilise maintenant les questions type A & R

Historique plus détaillé

NBME

Questions de type A– A: La meilleure réponse, une seule (One-best-answer)

Pourquoi QCR?

Problème d’échantillonnage– Nature et la taille de l’échantillon qui déterminent

si l’estimé que l’on fait est• Reproductible: fiable, généralisable• Précis: valide

– Uniquement questions SCV pour un examen de md fam.– Trop peu de questions

Pourquoi QCR?

Problème d’échantillonnage– Échantillon doit être évalué sur une seule variable

étudiant• QCM: Ordinateur corrige réponses• QROC: Professeur(s) corrige(nt) réponses

Un exempleHistoire de la médecine

Résultat du travail par groupe

Groupe Moyenne

1 24,1

2 30,0

3 28,7

4 25,3

5 26,1

6 26,0

7 27,5

8 26,6

9 27,5

Total 26,9

Travail écrit de 5 pages.

Chaque professeur a corrigé les travaux de son groupe.

15 étudiants/groupe

Note maximale: 30

Les étudiants du groupe 1 croient que leur professeur a été trop sévère.

En fait, le problème

Combien de questions?En combien de temps?

Dépend de l’importance de l’examen. Si on recherche validité et la fiabilité:

– Douzaine de cas cliniques ou plus (ECOS).– Centaine ou plus de QROC ou QCR.

En donnant aux étudiants le temps qu’il faut pour répondre. Environ 1 min. par question, plus s’il s’agit de questions difficiles ou comportant de longues vignettes.

Seulement QCR?

NON

L’ÉVALUATION DOIT ÊTRE

MULTIMODALEQCR

Simulation PMP

ECOS

Raisonnement clinique (Q4)

Patient simulé

Opinion du patient

Observation directe

QROC

… et encoreConcordance de scripts

Questions à développement

Simulateur

Portfolio

Carnet de route

Examens oraux

Vrai/faux vs la meilleure réponse.

Vrai ou faux– C, K, X, PMPs

La meilleure réponse– A: la meilleure réponse de 5 énoncés– B– R: appariement détaillé– Q4: problèmes à éléments-clé

Vrai/faux

Le problème est que l’étudiant doit décider ce qui est absolument faux ou vrai.

Alors que l’on suggère d’éviter les absolus comme « toujours » ou « jamais ».

Il est difficile d’écrire des compléments qui sont absolument vrai ou faux, sans tomber dans la futilité.

Vrai/fauxUne question correcte

Lequel (ou lesquels) des éléments suivants est (sont) une atteinte récessive liée à l’X?1-Hémophilie A

2-Fibrose kystique

3-Dystrophie musculaire de Duchesne

4-Maladie de Tay-Sachs

Vrai/faux Une question possible

Lequel (ou lesquels) des éléments suivants est (sont) une atteinte récessive liée à l’X?1-Hémophilie A

2-Fibrose kystique

3-Dystrophie musculaire de Duchesne

4-Maladie de Tay-Sachs

2

4

1

3

Absolument faux Absolument vrai

Vrai/fauxUne question « incorrecte »

Les énoncés vrais sur la fibrose kystique sont:1-L’incidence de la maladie est 1:20002-Les enfants en meurent habituellement durant

l’adolescence.3-Les mâles atteints sont stériles.4-La maladie est autosomique et récessive

Le problème est qu’un groupe d’experts ne s’entendrait pas sur 1, 2 et 3.

En résumé...

La vignette doit être claire et sans ambiguïté, évitez les termes– imprécis, comme: est associé à, est utile pour, est

important.– qui orientent l’étudiant: toujours, jamais, peut,

pourrait être.– vagues, comme: fréquemment, habituellement,

souvent, rarement, etc.

Les niveaux taxonomiques simplifiés

Niveaux taxonomiques - Objectifs cognitifs Savoir Compréhension

Rappel

Application Rappel

Analyse Interprétation

Synthèse Évaluation 1

Solution de problèmes

Application

1 Bloom, 1956


Niveaux taxonomiques - Objectifs cognitifs Savoir Compréhension

Rappel

Application Rappel

Analyse Interprétation



Application

1 Bloom, 1956


Niveaux taxonomiques - Objectifs cognitifs Savoir Rappel

Compréhension Rappel

Application Analyse

Interprétation



Application

1 Bloom, 1956

La meilleure réponseType A

Ici, toutes les réponses peuvent être vraies. Elles se situent sur un continuum de vérité. Une des réponses est la plus exacte.

Type A3 parties

Vignette (Stem)– Vignette, en général, clinique

Question (Lead-in)– Détermine le choix à faire parmi les compléments

Compléments (Options)– Les choix

Type A3 parties

Vignette (Stem)

Un patient de 32 ans se plaint de faiblesse des extrémités depuis 4 jours. Sa température est 37,8C, son pouls est 94/min, …

Question (Lead-in)

Parmi les diagnostics suivants, quel est le plus probable?

Compléments (Options)

A- Encéphalomyélite aiguë disséminée

B- Syndrome de Guillain-Barré

C- Myasténie grave

D- Polyomyélite

E- Polymyosite

D C A E B

La moins correcte La plus correcte

On peut répondre sans consulter les compléments.

Type A3 parties

Vignette (Stem)– Un patient de 32 ans se plaint de faiblesse des extrémités depuis 4

jours. Sa température est 37,8C, son pouls est 94/min, sa PA 130/80 mmHg. La respiration est superficielle à 42/min. Il a une faiblesse symétrique des muscles du visage et des muscles proximaux et distaux des extrémités. La sensibilité est normale. Les réflexes ostéo-tendineux sont absents. Les réflexes plantaires sont en flexion.

Question (Lead-in)– Quel est le diagnostic le plus probable?

On peut répondre sans consulter les compléments.

Type A3 parties (question incorrecte)

Vignette (Stem) Question (Lead-in)

– À propos de la pseudogoutte, qu’est-ce qui est vrai? Compléments (Options)

A. Est fréquente chez les femmes.B. Est rarement associée à de la douleur articulaire aiguë.C. Peut être associée à de la chondrocalcinose.D. Est clairement héréditaire dans la plupart des cas.E. Répond bien à l’allopurinol.

Les compléments ne se situent pas sur un continuum de vérité, ils explorent des dimensions différentes, ei genre, manifestations, génétique et traitement. On ne peut répondre sans consulter les compléments. Cette question ne fait appel qu’à la mémoire et n’évalue pas l’application des connaissances.

Défauts techniques

Prévenir les gains associés à la perspicacité du répondant, le petit futé.

Éviter la difficulté hors de propos.

Perspicacité du répondantle petit futé

Indices grammaticaux. Indices logiques. Les termes absolus. La longueur d’un complément qui pointe vers

la bonne réponse. Répétition de mots. La stratégie utilisant la convergence des

indices.

Type K

Difficulté hors de propos

Compléments longs, complexes ou double. Échelle numérique variable. Termes vagues dans les compléments. Complément utilisant: « Aucun des choix ». Item intriqué ou trop complexe. Lien entre les réponses de deux questions apparentées.

La meilleure réponse...Type A - Les règles de base

Chaque item porte sur un concept important, de par sa fréquence ou sa dangerosité. Éviter la trivialité, les pièges ou les questions inutilement complexes.

Chaque question doit évaluer l’application des connaissances et non leur rappel.

La question doit être claire et on doit pouvoir y répondre sans lire les compléments, d’où l ’importance de la vignette. Éviter les doubles négations.

Les distracteurs doivent être homogènes, grammaticalement semblables, plausibles, de longueur équivalente, logiquement compatibles, au contenu univoque (éviter « faire X et Y ») sauf si tous idem, placé en ordre logique.

Éviter les questions qui favorisent les petits futés ou qui posent des difficultés hors de propos.

Éviter les questions du type: « Identifiez l’affirmations correcte. » ou « Toutes les affirmations qui suivent sont vraies sauf: »

…des vignettes homogènes et...

Age, sexe, (Un homme de 45 ans) Lieu (se présente à l’urgence, au cabinet…) Raison de consultation (se plaint de céphalées…) Durée (depuis 2 jours…) Histoire médicale (histoire familiale au besoin) Examen physique (éléments positifs ou négatifs) +/- Résultats de laboratoire +/- Traitement initial, évolution, etc

Une relation correcte entre la vignette et les compléments

Vignette longue

Complément court

Complément court

Complément court

Complément court

Complément court

Les compléments ne doivent pas transmettre de nouvelle information. Il ne devrait pas y avoir de verbe.

Variation On peut à partir d’une vignette poser plus

d’une question:

Vignette, en général clinique

Question #1

Complément

Complément

Complément

Complément

Question #2

Complément

Complément

Complément

Complément

Question #4

Complément

Complément

Complément

Complément

Question #3

Complément

Complément

Complément

Complément

Mais attention, pour réussir #4, faut-il avoir réussi 1, 2 et 3?

La meilleure réponse...Type A - Sciences de base

Le piège est la tendance évaluer le rappel.– Rappel:

• L’artère cérébellaire postéro-inférieure irrigue quelle partie du cerveau?

– Application:• Un homme de 62 ans développe une ataxie du côté gauche, un

syndrome de Horner, un nystagmus et une perte de la sensation de douleur et du froid au niveau du visage. Quelle artère est, le plus probablement, atteinte?

La meilleure réponse...Type A - Sciences cliniques

Quelques détails sur les vignettes– Utilisation de véritables cas cliniques: risqué, souvent trop

compliqué.– Matériel de référence: fournir ce qui est habituellement

disponible en clinique (ei normales)– Utiliser des termes médicaux, plutôt que ceux du patient.– Les patients ne mentent pas dans les QCR (ei.

consommation d’alcool).

QROCQuestion à Réponse Ouverte et Courte

Une femme de 62 ans est hospitalisée pour des maux de tête d'apparition récente, accompagnés de diplopie. Une année auparavant, on a diagnostiqué qu'elle souffrait d'un lymphome diffus à grandes cellules et de stade III. La polychimiothérapie associant doxorubicine (Adriamycine), vincristine et prednisone, a entraîné une rémission complète; elle a été cessée après six cycles. Au cours de la présente hospitalisation, les examens complémentaires, dont la ponction lombaire, ont diagnostiqué une lymphomatose méningée. Il n'y a pas de récidive du lymphome à d'autres endroits.

Énumérez trois modalités thérapeutiques disponibles, pour cette patiente :

a)________________________________________________________

b)________________________________________________________

c)________________________________________________________


Il s'agit d'une question à laquelle on peut répondre en quelques mots ou phrases.

Dans le cas d’une question comportant des sous-questions, la réponse à chacune de celles-ci doit pouvoir être exprimée en quelques mots ou phrases.


QROC ≠ question à développement court– réponse plus longue et moins structurée, une ou deux

phrases à un ou deux paragraphes.• « Discutez des avantages du traitement XYZ pour le

problème ABC. »

QROCAvantages

Comparativement à la question à développement long ou court, – la correction plus facile et moins subjective– laisse très peu de place à l'interprétation

Comparativement au QCR, – plus facile à créer, mais plus exigeante à corriger.

QROCConseils pour leur rédaction

Utilisez des questions auxquelles on peut répondre d'une façon réaliste en quelques mots ou phrases. En général, chaque question ou sous-question ne devrait demander qu'un seul élément d'information. Ainsi, la question suivante : « Quel est le diagnostic le plus probable et quel traitement recommandez-vous? » devrait être scindée en deux questions distinctes.


Prévoir dans les espaces réservés aux réponses le nombre suffisant de lignes ou autres repères de façon à indiquer l'étendue de la réponse.


Utilisez soit des questions directes « Quel est le meilleur traitement de ...? », soit des verbes très spécifiques tels que « nommer », « indiquer les grandes lignes de ... », « décrire ». Évitez le verbe « discuter » Lorsqu'on utilise des verbes, tels que « décrire », « indiquer les grandes lignes de ... », il importe d'ajouter certaines indications quant aux limites de la réponse attendue (par exemple « décrivez brièvement », « indiquez brièvement les grandes lignes ... »).


Parfois, il peut être nécessaire de préciser ce qui ne doit pas apparaître dans la réponse (exemple : « Indiquez un traitement couramment accepté dans ce cas. Soyez spécifique; les doses, les horaires et champs d'application du traitement ne sont pas requis »). Il faut s’efforcer de bien mettre en évidence le critère visé dans la correction de la question.


Prenez soin de ne pas fournir d'indices quant à la réponse à la question. Voici un exemple d'une question qui n’en fournit pas : « Quel(s) examen(s) complémentaire(s) additionnel(s) pourrait(aient) être requis, en vue de la décision thérapeutique? », par opposition à la question suivante : « Quels examens complémentaires allez-vous faire avant de décider du traitement? ».


La valeur de chaque question (valeur relative dans l'épreuve avec questions à réponse courte) et, dans le cas d'une question avec sous-questions, la valeur de chaque sous question, doivent être déterminées à l’avance et indiquées sur la feuille de réponse du candidat.


Pour chaque question ou sous-question, il faut établir la notation pour la(les) réponse(s) acceptable(s), les réponses qui ne sont pas acceptables de même que pour les réponses qui, tout en n'étant pas la meilleure réponse, n’en sont pas moins acceptables.


Si une seule réponse doit être considérée comme acceptable, l’énoncé de la question doit être très spécifique sur ce point. Voici quelques exemples : « Quel est le meilleur traitement ...? » , « Quel est... le plus souvent utilisé ... ? », « Quel est le diagnostic le plus probable? ».


Autant que possible, la longueur des scénarios (« vignettes cliniques ») doit être proportionnelle à la valeur attribuée aux questions.


Les scénarios cliniques doivent être préparés en tenant compte du niveau de formation de l’étudiant.


Bien que la conception initiale des modèles de réponses puisse être confiée à un seul professeur, il importe cependant, pour en assurer la validité, de faire appel à l’expertise d'autres professeurs.

Problèmes à éléments-clé(Q4)

La mesure de la compétence serait plus valide si les questions posées relativement à chaque problème d’un examen étaient centrées sur les quelques éléments spécifiques et essentiels ayant une importance fondamentale pour la résolution du problème – ses éléments-clé.


Thème– Diarrhée

Éléments-clé– Reconnaître une déshydratation (évalué) et son

degré de gravité (non évalué).– Prendre en charge une déshydratation d’une

façon appropriée.– Estimer la transmissibilité possible de la maladie

sous-jacente (dissémination dans la famille/à l’hôpital, possibilité d’une source commune).


Un problème à éléments-clé comprend typiquement un énoncé de cas, suivi de deux ou trois questions visant à évaluer uniquement les aspects fondamentaux (« éléments-clé ») de la résolution du problème.


Une mère de trois enfants, âgée de 35 ans, vous consulte à votre cabinet à 17 h en raison d’une diarrhée aqueuse grave. Lors de l’interrogatoire, elle dit qu’elle est malade depuis environ 24 heures. Elle a eu quinze selles liquides au cours des dernières 24 heures, elle a des nausées, mais elle ne vomit pas. Elle travaille le jour comme cuisinière dans un établissement de soins de longue durée, mais elle a quitté le travail pour venir vous consulter. Votre infirmière a inscrit dans son dossier les données suivantes : tension artérielle au repos à 105/50 mm Hg en position couchée (pouls de 110/minute) et à 90/40 en position debout, et température orale de 36,8 °C. À l’examen clinique, vous observez que ses muqueuses sont sèches et que les bruits intestinaux sont présents. L’examen des urines (examen microscopique) était normal, avec une densité de 1.030.

Problèmes à éléments-clé(QROC)

À quels problèmes cliniques accorderez-vous le plus d’importance lors de la prise en charge initiale de cette patiente?

Inscrivez-en jusqu’à trois.

____________________________________

____________________________________

____________________________________

Problèmes à éléments-clé(question à menu court)

Comment devriez-vous traiter cette patiente à ce moment-ci? Choisissez jusqu’à trois réponses.

– 1- Médicament antidiarrhéique– 2- Médicament antiémétique– 3- Solution de NaCl à 0,9 % par voie intraveineuse – 4- Solution 2/3 pour 1/3 par voie intraveineuse– 5- Gentamicine par voie intraveineuse– 6- Métronidazole par voie intraveineuse– 7- Solution de lactate Ringer par voie intraveineuse– 8- Sonde naso-gastrique et aspiration– 9- Rien par la bouche– 10- Ampicilline par voie orale– 11- Chloramphénicol par voie orale– 12- Liquides par voie orale– 13- Sonde rectale– 14- Renvoi à la maison et suivi diligent– 15- Consultation en chirurgie– 16- Hospitalisation

Problèmes à éléments-clé (question à menu court)

Après avoir pris en charge l’affection aiguë de cette patiente, quelles mesures additionnelles, s’il y a lieu, prendriez-vous? Choisissez jusqu’à quatre réponses ou choisissez le numéro 11, Aucune, si aucune mesure n’est indiquée.

– 1- Recommandation d’éviter les produits laitiers– 2- Coloscopie– 3- Mesures de prévention entériques– 4- Consultation en gastro-entérologie– 5- Administration d’immunoglobulines sériques aux patients de

l’établissement de soins de longue durée– 6- Consultation d’un spécialiste en maladies infectieuses– 7- Déclaration à la Direction de la santé publique– 8- Coprocultures– 9- Isolement rigoureux de la patiente– 10- Absence temporaire du travail– 11- Aucune

Problèmes à éléments-clé Étapes de construction

1- Choisir un problème clinique (et un groupe d’âge).

2- Poser la question : « Quelles sont les étapes essentielles de la résolution de ce problème (chez des patients dans ce groupe d’âge)? »

3- Penser à des exemples – des patients qui présentent ce problème de façons différentes.

4- Inscrire les éléments-clé ayant trait à ces patients, certains propres à des patients particuliers, d’autres communs à tous les patients.

5- Choisir un cas, écrire l’énoncé du cas.

6- Écrire des questions qui sont fondés sur les éléments-clé du cas et établir la notation.

Correction(QCR)

Déterminer à l’avance la meilleure réponse Il n’y a pas d’avantage à utiliser une

correction négative (punitive)

Correction(QROC)

Déterminer à l’avance les bonnes réponses et les réponses acceptables mais qui mériteront un pointage partiel

Prévoir un pointage partiel pour les réponses incomplètes

Si l ’étudiant vous propose 4 réponses alors que vous en demandez 3: la note est 0.

NE PAS corriger les copies de chaque étudiant une après l’autre

Correction(QCR: Q 1 à 50 et QROC: Q 51 à 74)

Prof #1Q: 52, 53 & 60

Prof #2Q: 61, 70 & 71

Prof #3Q: 54

Prof #4Q: 55, 56, 57 & 58

Prof #8Q: 51, 63 & 64

Prof #7Q: 59, 62 & 65

Prof #6Q: 66, 67, 68 & 69

Prof #5Q: 72, 73 & 74

Conclusion

Contrôler les qualités docimologiques des questions

Former les rédacteurs d’items Mettre de l’emphase sur la prise de décision

clinique vs rappel Pré-valider les nouvelles questions

ATTENTION!!!

Pour tous les types de questions, faites les lire par

un/une collègue.

Type R, appariement détaillé (Extended matching)

Un item en quatre parties:– Un thème– Des compléments, de 3 à 26– Question ou directive– Vignettes

Type R (1 de 2)

Thème: Fatigue

Compléments:A: Leucémie aiguë H: Sphérocytose

congénitale

B: Anémie des mal. chroniques I: Hypothyroïdie

C: Insuffisance cardiaque J: Déficit en fer

D: Dépression K: Maladie de Lyme

E: Infection virus Epstein-Barr L: Anémie hémol. microangio.

F: Déficit en folate M: Tuberculose miliaireG: Déficit en G-6-PD N: Déficit en Vitamine B12

Évitez les abréviations

Type R (2 de 2)

Question: Pour chacun des patients, présentant de la fatigue, choisir le diagnostique le plus probable.

Vignettes:1. Une femme de 19 ans décrit de la fatigue, de la fièvre et un mal de

gorge depuis une semaine. Sa température est 38,3C. Elle présente les adénopathies cervicales et une splénomégalie. Le décompte des leucocytes est 5000/mm3 (80% lympho. dont plusieurs présentent des atypies) … Autres labo ...

2. Un garçon de 15 ans décrit de la fatigue et de la douleur au dos depuis 2 semaines. Il est couvert d’ecchymoses, est pâle et ses vertèbres et fémurs sont sensibles à la palpation. L’hémoglobine est à 70 g/L, les leucocytes à 2000/mm3 et les plaquettes à15,000 mm3.

Type R

On suggère d’écrire l’item dans l’ordre suivant:– Thème– Question– Compléments– Vignettes

Type R Les règles de base sont les mêmes que pour

les question de Type A, la meilleure réponse– On devrait pouvoir répondre aux questions sans

avoir à lire les compléments. Vignettes doivent être homogènes Une seule meilleure réponse Nombre de compléments

– De 3 à 26, mais en général, au moins 4 bons distracteurs plausibles par vignette.

– La plupart des compléments devrait être utilisée.

Appariement détaillé à plusieurs choix(Pick N Items)

Idem au type R, mais on choisit plus d’une réponse.– Il faut indiquer le nombre de réponses à choisir.

Sinon, la question se transforme en Vrai/Faux.– En général, on recommande une notation

proportionnelle au nombre de bonnes réponses.– Si ce n’est pas possible, limiter le nombre de

réponses à 2 ou 3.

Appariement détaillé à plusieurs choix(1 de 2)

Thème: Investigation de la fièvre chez l’enfant

Compléments:A: A & C du LCR F: Analyse d’urine

B: Hémoculture G: Culture d’urine

C: Formule sanguine complète H: R-X de l’abdomen

D: Examen des selles pour leucocytes I: R-X du thorax

E: Détermination des électrolytes sanguin

Évitez les abréviations

Appariement détaillé à plusieurs choix(2 de 2)

Question: Pour chaque enfant qui présente de la fièvre, choisissez les tests diagnostiques initiaux appropriés.

Vignettes:1. Une fillette de 1 an, auparavant en bonne santé, est emmenée à la salle

d’urgence pour de la fièvre depuis 24 hres. Sa T est de 41C. Par ailleurs, elle est asymptomatique. L’examen physique est normal. (CHOISISSEZ 4 ÉPREUVES DE LABORATOIRE)

2. Un n-né de 10 jours, auparavant en bonne santé, est emmené à la salle d’urgence pour de la fièvre depuis 2 hres. Il est né à terme, suite à une grossesse normale. Sa T est de 39C. L’examen physique est normal. (CHOISISSEZ 6 ÉPREUVES DE LABORATOIRE)

1. Un garçon de 7 ans, souffrant d’anémie falciforme, est emmenée à la salle d’urgence pour de la fièvre depuis 24 hres et des douleurs thoraciques depuis 1 hre. Sa T est de 39,5C. Le murmure vésiculaire est diminué à la base gauche, il est eupnéique. (CHOISISSEZ 3 ÉPREUVES DE LABORATOIRE)

Pour chaque chiffre choisir la lettre la mieux associée. Chaque lettre peut être utilisée de 0 à plusieurs fois

Pas de vignette. Parfois tâche + ou - claire. Remplacée récemment par type R.

Type B

A- Coactation de l’aorteB- Persistance du canal

artérielC- Tétrallogie de FallotD- Anneau vasculaire

aortiqueD-Atrésie tricuspidienne

1- Amélioré par shunt art. syst/pulm.

2- Patho cong la plus fréq.3- Corrigé par résection chir et

anast. bout-à-bout.4- Cause possible de

dysphagie chez l’enfant5- HyperTA m.sup et hypoTA

m.inf

Type C

A- Éosinophillie*B- Plasmocytose*C- Lymphocytose**cliniquement significative

1- Trichinose2- Myélome multiple3- Syndrome de Loeffler4- Maladie de Hodgkin5- Schistosomiase

Deux réponses:

1: 4 des 5 items à droite sont reliées à une des catégories à gauche. Laquelle?

2: Indiquer l’item qui ne fait pas partie du groupe.

Pas de vignette. Questions difficiles à produire. Directives complexes. Format non discriminant.

Type K

A B C D E1,2,3 1,3 2,4 4 TOUS

Un enfant qui souffre d’une crise aiguë de fièvre rhumatismale présente habituellement

(1) un temps de sédimentation allongé

(2) un intervalle PR allongé

(3) un titre d’antistreptolysine O élevé

(4) des nodules sous-cutanés

Type K

A B C D E1,2,3 1,3 2,4 4 TOUS

Ont déjà été les questions les plus utilisées. Trop complexe, doit se souvenir du code de réponse.

Difficile d’écrire de bons items VRAI ou FAUX.

De plus, le VRAI ou FAUX ne peuvent tester le jugement clinique.

Les liens entre les questions diminuaient la discrimination et la validité.

1=faux + 2=vrai C, 1=vrai + 2=faux B4=vrai + 3=faux D, 4=faux + 2=faux B

Indices grammaticaux

On retrouve un homme de 60 ans inconscient sur la rue. À l’urgence, une fois les voies aériennes sécurisées, le premier geste à poser est l’administration intraveineuse de

A L’examen du LCR

B Glucose et vitamine B1 (thiamine)

C Tomographie axiale du crane

D Phénytoin

E Diazépam

Ceci se produit parce que lorsque l’on écrit une question, on porte plus attention à la bonne réponse qu’aux distracteurs.

Indices grammaticaux

On retrouve un homme de 60 ans inconscient sur la rue. À l’urgence, une fois les voies aériennes sécurisées, le premier geste à poser est l’administration intraveineuse de

A L’examen du LCR

B Glucose et vitamine B1 (thiamine)

C Tomographie axiale du crane

D Phénytoin

E Diazépam

Ceci se produit parce que lorsque l’on écrit une question, on porte plus attention à la bonne réponse qu’aux distracteurs.

Les indices logiques

Le crime est

A Également représenté dans toutes les couches sociales

B Surreprésenté chez les pauvres

C Surreprésenté dans les classes moyennes et riches

D Est d’abord une indication de mésadaptation sociale

E Sur le point de dépasser la tolérance de la population

A, B et C comprennent toutes les options.

D et E ne font pas partie d’un continuum avec A, B et C

On aura le même problème si les options comprennent « augmente », « diminue » et « n’affecte pas »

Les indices logiques

Le crime est

A Également représenté dans toutes les couches sociales

B Surreprésenté chez les pauvres

C Surreprésenté dans les classes moyennes et riches

D Est d’abord une indication de mésadaptation sociale

E Sur le point de dépasser la tolérance de la population

A, B et C comprennent toutes les options.

D et E ne font pas partie d’un continuum avec A, B et C

On aura le même problème si les options comprennent « augmente », « diminue » et « n’affecte pas »

Les termes absolus

Chez les patients souffrant d’une démence sévère, de type Alzheimer, l’atteinte de la mémoire

A Peut être traitée adéquatement avec de la phosphatidylcholine (lécithine)

B Pourrait être une séquelle du parkinsonisme précoce

C N’est jamais retrouvé chez les patients avec ???? à l’autopsie

D N’est jamais sévère

E Pourrait impliquer le système cholinergique

Éviter les absolus.

Il y a moins de chances d’avoir ce problème, si on utilise une vignette plus précise et on évite les verbes dans les compléments.

Les termes absolus

Chez les patients souffrant d’une démence sévère, de type Alzheimer, l’atteinte de la mémoire

A Peut être traitée adéquatement avec de la phosphatidylcholine (lécithine)

B Pourrait être une séquelle du parkinsonisme précoce

C N’est jamais retrouvé chez les patients avec ???? à l’autopsie

D N’est jamais sévère

E Pourrait impliquer le système cholinergique

Éviter les absolus.

Il y a moins de chances d’avoir ce problème, si on utilise une vignette plus précise et on évite les verbes dans les compléments.

La longueur du complément qui pointe vers la bonne réponse

Le gain secondaire est

A synonyme de simulation

B fréquemment associé aux problèmes obsessifs-compulsifs

C une complication associée à plusieurs maladies et qui tend à en prolonger plusieurs au delà de la durée normale

D jamais vu dans les syndromes organiques cérébraux

Répétition de mots

Par exemple, une question porte sur des douleurs osseuses et une des réponses comporte le terme ostéo...

La stratégie utilisant la convergence des indices

Les anesthésiques locaux sont efficaces dans leur forme

A forme anionique, agissant du côté intracellulaire de la membrane

B forme cationique, agissant du côté intracellulaire de la membrane

C forme cationique, agissant du côté extracellulaire de la membrane

D forme base, agissant du côté intracellulaire de la membrane

E forme base, agissant du côté extracellulaire de la membrane

Anionique n’apparaît qu’une fois, 2 intracell. vs 3 extracell. donc extra

Reste B et D, parce qu’il y a plus d’éléments impliquant une charge, B.

La stratégie utilisant la convergence des indices

Les anesthésiques locaux sont efficaces dans leur forme

A forme anionique, agissant du côté intracellulaire de la membrane

B forme cationique, agissant du côté intracellulaire de la membrane

C forme cationique, agissant du côté extracellulaire de la membrane

D forme base, agissant du côté intracellulaire de la membrane

E forme base, agissant du côté extracellulaire de la membrane

Anionique n’apparaît qu’une fois, 2 intracell. vs 3 extracell. donc extra

Reste B et D, parce qu’il y a plus d’éléments impliquant une charge, B.

Compléments longs, complexes ou double

Les comités de discipline des hôpitaux peuvent prendre action pour limiter les privilèges hospitaliers d’un médecin. Toutefois, dans le contexte de l’accomplissement de leur mandat, ces comités doivent assurer au médecin un processus juste et équitable. Un processus juste et équitable doit inclure lesquels des éléments suivants?

A Un avis, un forum impartial, un avocat, l’opportunité d’entendre et discuter de la preuve déposée contre lui/elle.

B Un avis adéquat, un tribunal habileté à prendre une décision, l’opportunité de confronter les témoins à charge et la possibilité de faire une preuve en défense.

C Un avis raisonnable et en temps opportun, un comité impartial et habileté à prendre une décision, la possibilité d’entendre la preuve déposée contre lui/elle et de confronter les témoins à charge et la possibilité de faire une preuve en

défense.

La vignette comporte de la lecture sans relation avec la résolution du problème. Les compléments sont trop longs et complexe. On recommande de faire des compléments courts. La vignette peut être longue, surtout si on veut évaluer la capacité de l’étudiant à synthétiser l’information.

Compléments longs, complexes ou double

Les comités de discipline des hôpitaux peuvent prendre action pour limiter les privilèges hospitaliers d’un médecin. Toutefois, dans le contexte de l’accomplissement de leur mandat, ces comités doivent assurer au médecin un processus juste et équitable. Un processus juste et équitable doit inclure lesquels des éléments suivants?

A Un avis, un forum impartial, un avocat, l’opportunité d’entendre et discuter de la preuve déposée contre lui/elle.

B Un avis adéquat, un tribunal habileté à prendre une décision, l’opportunité de confronter les témoins à charge et la possibilité de faire une preuve en défense.

C Un avis raisonnable et en temps opportun, un comité impartial et habileté à prendre une décision, la possibilité d’entendre la preuve déposée contre lui/elle et de confronter les témoins à charge et la possibilité de faire une preuve en

défense.

La vignette comporte de la lecture sans relation avec la résolution du problème. Les compléments sont trop longs et complexe. On recommande de faire des compléments courts. La vignette peut être longue, mais pertinente, surtout si on veut évaluer la capacité de l’étudiant à synthétiser l’information.

Une façon de prévenir ceci est de ne pas utiliser de verbe dans les compléments.

Échelle numérique variable

Après un deuxième épisode d’infection pelvienne, quelle est la probabilité pour une femme d’être infertile?

A Moins de 20%

B 20 à 30%

C Plus de 50%

D 90%

E 75%

Présenter des valeurs uniques ou des étendues (RANGE). Ne pas les combiner. De plus C comprend D et E, ce qui élimine presque certainement D et E.

Échelle numérique variable

Après un deuxième épisode d’infection pelvienne, quelle est la probabilité pour une femme d’être infertile?

A Moins de 20%

B 20 à 30%

C Plus de 50%

D 90%

E 75%

Présenter des valeurs uniques ou des fourchettes (étendue). Ne pas les combiner. De plus C comprend D et E, ce qui élimine presque certainement D et E. Placer les choix dans un ordre logique, par exemple par ordre croissant.

Termes vagues dans les compléments

L’obésité morbide au début de l’adolescence

A Répond habituellement de façon dramatique au régime hypocalorique

B Est souvent relié à une atteinte endocrinienne

C Se résoudra spontanément dans 75% des cas

D Présente un mauvais pronostique

E Répond rarement à la pharmacothérapie et à la psychothérapie intense

« Aucun des choix »

Le diagnostique d’une masse ovarienne importante est le plus probable, si il y a

A Une matité antérieure

B Un péristaltisme diminué

C Signe du flot

D Une matité mobile

E Aucun des énoncés

Si le professeur souhaite que la réponse soit A,B,C ou D, les étudiants « experts » peuvent faire face à un dilemme, qu’arrive-t-il s’ils connaissent une réponse qui est meilleur que la meilleure de options présente? On transforme la question en Vrai ou Faux, or la question mentionne « le plus probable ».

« Aucun des choix »

Le diagnostique d’une masse ovarienne importante est le plus probable, s’il y a

A Une matité antérieure

B Un péristaltisme diminué

C Signe du flot

D Une matité mobile

E Aucun des énoncés

Si le professeur souhaite que la réponse soit A,B,C ou D, les étudiants « experts » peuvent faire face à un dilemme, qu’arrive-t-il s’ils connaissent une réponse qui est supérieure à la meilleure de options présentes?

Item intriqué ou trop complexe

Placer les parents des enfants trisomiques (XXI) par ordre décroissant de risque de récurrence. Supposez que l’âge maternel est 22 ans et que la prochaine grossesse surviendra au cours des 5 prochaines années. Les karyotypes des filles sont les suivants :

I 46, XX, -14, +T (14q21q) pat

II 46, XX, -14, +T (14q21q) de novo

III 46, XX, -14, +T (14q21q) mat

IV 46, XX, -21, +T (14q21q) pat

V 47, XX, -21, +T (21q21q) (pas de karyotype parental)

A III, IV, I, V, II

B IV, III, V, I, II

C III, I, IV, V, II

D IV, III, I, V, II

E III, IV, I, II, V

Lien entre les réponses de deux questions apparentées

La réponse à une question plus facile sert d’indice pour répondre à une question plus difficile.

À préciser

Langage non analogue, ordre illogique des compléments

Lors d’un essai vaccinal, 200 garçons de 2 ans ont reçu un vaccin contre une maladie « x », puis ont été observé pendant 5 ans pour évaluer l ’apparition de la maladie. Du groupe, 85% n’ont jamais fait la maladie. Lequel des énoncés suivants, portant sur ces résultats est correct?

A Aucune conclusion ne peut être tirée, le suivi ayant porté sur des nfants non vaccinés

B Le nombre de cas (ie, 30 cas en 5 ans) est trop petit pour avoir être statistiquement significatif

C Aucune conclusion ne peut être tirée parce que l’étude ne portait que sur des garçons

D L’efficacité vaccinale (%) est de 85 - 15/100

Basé NBME...

Pourquoi? Depuis 1916– 1916

• Examen de 5 jours: écrit, oral, labo et clinique– 1922

• Part I: 3 j. développement sc. base, • Part II: 2 j. développement sc. cliniques• Part III: 1 j. oral au chevet de patients

– 1951• Recherche de 3 ans sur comparaison QCR vs

développement

Basé NBME

Pourquoi? Depuis 1916– 1953

• Part I & II QCR• Part III variable ad début des années ‘60

– Après avoir principalement utilisé• A, B, C & K

– On utilise maintenant• A & R

Pourquoi faire un examen?

Indiquer aux étudiants la matière importante. Motiver les étudiants à étudier. Identifier les domaines où les connaissances

sont insuffisantes étude supplémentaire. Déterminer notes finales et/ou promotion. Identifier les faiblesses du cours/curriculum.

Sur quoi questionner?

Sur ce qui est en relation avec les objectifs. Plus d’emphase sur les sujets importants. Temps alloué, proportionnel à l’importance. Sur ce qui est important, éviter la trivialité.

Vrai/fauxUne question incorrecte

En résumé

La vignette manque de précision Les compléments comportent des termes

vagues. Les compléments sont partiellement corrects. Il n’y aurait pas consensus dans un groupe

d’experts.

Vrai/faux Une question incorrecte

Chez l’enfant, les anomalies du septum inter-ventriculaires sont associées à:1- Un souffle systolique.

2- De l’hypertension pulmonaire.

3- La tétralogie de Fallot.

4- La cyanose.

Le problème est que l’étudiant doit présumer de la sévérité de la maladie, de l’âge, et de la thérapie du patient.

Éviter les vrais/faux.

Ont plus souvent besoin d’être réécrites. La difficulté, inhérente au fait que l’on recherche des

compléments vraiment vrai ou faux, entraîne une dérive vers le rappel de faits isolés et la trivialité.

Éviter les questions utilisant la forme négative. (Parmi les éléments suivants, lequel n’est pas exact?)

– Sont difficile à placer sur un continuum.– Si l’on veut faire choisir plus d’un élément, utiliser une

question de type « choisir N items » (Pick N Items).

Documents

Normes pour la rédaction et la correction de questions QCR, QROC et de problèmes à éléments-clé. Michel Girard MD MHPE FRCP(C) Directeur Serge Normand