Formation FORTIS à la Construction et la Gestion Qualité des Tests Standardisés « CGQTS »

1

Formation FORTIS à la Construction et la Gestion Qualité

des Tests Standardisés« CGQTS »

Formation CGQTS 20/10/2004 - FORTIS - Jean-Luc Gilles & Pascal Detroz

2

Etude de la Test Wisenesset des règles de rédaction des QCM

Formation CGQTS 2010/2004 -Fortis - Jean-Luc Gilles & Pascal Detroz

3

La dernière amitié de Harlan Stone est un

1. satire politique

2. récit autobiographique3. histoire de science fiction4. courte biographie


4

La population de la ville de Frankton est inférieure à

1. 50 mille habitants2. 60 mille habitants3. 70 mille habitants4. 80 mille habitants


5

Quand on ajoute des cristaux de Bestor à l’eau,

1. de la chaleur se dégage2. la température de la solution s’élève3. la solution devient bleue4. le récipient devient plus chaud


6

Le Parti National Augustin a son quartier général à

1. Camdem, dans le new jersey2. St Augustin, en Floride3. Palo Alto, en Californie4. Dallas, au Texas


7

Le vent du désert de Zubi est fait

1. de petits insectes2. de cristaux de cuivre3. de cristaux de glace4. d’aiguilles de pins


8

La loi Davis (XIX° siècle)

1. Fournit de l’argent aux écoles.2. Abolit une loi précédente3. Interdit la fabrication, la vente, le transport ou

l’utilisation de divers médicaments qui étaient alors utilisés dans des intentions illégales.

4. Augmenta le salaire des agents de l’état.


9

Herman Klavemann est célèbre parce que

1. Il a développé toutes les échelles musicales utilisées en occident.

2. Il a composé toutes les sonates pendant la période romantique.

3. Il a traduit tous les classiques russes en anglais.4. Il a inventé l’épingle de sûreté.


10

Etude de la Test Wiseness= « Habileté à répondre à des QCM »

Gibb (1964) définit la test wiseness comme « la capacité d’un étudiant à répondre correctement à un test fait de

QCM qui contiennent des repères formels et, par conséquent, la capacité à obtenir des points sans

connaître la matière testée. »

Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz

11

Chap. 3

La rédaction des QCM(D. Leclercq, 1986)


12

Les règles de rédaction d’une QCM (d’après le Chap. 3 « La rédaction des QCM » du livre « La conception des questions à choix multiple » de D. Leclercq)

A. Règles de rédaction concernant l’adéquation aux objectifs

B. Règles de rédaction concernant la valeur diagnostique de la réponse

C. Règles de rédaction sur la formeD. Règles de rédaction des solutions proposéesE. Règles de rédaction des solutions générales

implicites


13

A. Règles de rédaction concernant l’adéquation aux objectifs


14

Règle 1Inventez un nom de poudre à lessiver en insistant sur l ’une de ses qualités : mousse abondante, propreté du linge, peu coûteuse,enlève toutes les taches …

Choisissez le nom qui vous plaît le mieux.

1. ECONOMOUS2. KIMOUSS3. MOUSPACHER4. MOUSTACH5. SANTACH


15

Règle 1Inventez un nom de poudre à lessiver en insistant sur l ’une de ses qualités : mousse abondante, propreté du linge, peu coûteuse,enlève toutes les taches …

Choisissez le nom qui vous plaît le mieux.

1. ECONOMOUS2. KIMOUSS3. MOUSPACHER4. MOUSTACH5. SANTACH

N ’utilisez la QCM que si c’est le type de question le plusapproprié à mesurer ce que l’on vise.

Dans ce cas, la QROC serait plus pertinente. Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz

16

Règle 2(a) Où est la tanche ? (b) Ce poisson est

1. Un brochet2. Une carpe3. Une tanche4. Une truite


17

Règle 2(a) Où est la tanche ? (b) Ce poisson est

1. Un brochet2. Une carpe3. Une tanche4. Une truite

La QCM doit correspondre à l’objectif visé, au comportement à évaluer …

celui d’un poissonnier (a) ou d’un pêcheur (b) ? Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz

18

Règle 3Choisissez l’orthographe correcte

1. Horkidée2. Horquidée3. Orchidée4. Orkidée 5. Orquidée


19

Règle 3Choisissez l’orthographe correcte

1. Horkidée2. Horquidée3. Orchidée4. Orkidée 5. Orquidée

La QCM ne doit pas perturber les apprentissages (sur des données perceptives visuelles ou sonores).

Pour les autres apprentissages, Karraker a démontréque les distracteurs ne se fixent pas si on communique les RCdans les plus brefs délais.


20

B. Règles de rédaction concernant la valeur diagnostique de la

réponse


21

Règle 4Quelle est la surface de la figure ci-dessous ?

1. 5 cm22. 6 cm23. 7 cm2


22

Règle 4Quelle est la surface de la figure ci-dessous ?

La QCM doit renseigner l’enseignant sur le processus mental utilisé par l’apprenant.

1. 5 cm22. 6 cm23. 7 cm2


23

Règle 5

Un spécialiste en oto-rhino-laryngologie indique généralementsur sa plaque « nez-gorge-oreilles ».Le rhinocéros a une corne à l’avant du museau.Celui qui souffre de rhinite se mouche fréquemment.

Le mot grec rhis, rhinos, signifie :1. Corne2. Gorge3. Maladie4. Nez5. Visage


24

Règle 5

Un spécialiste en oto-rhino-laryngologie indique généralementsur sa plaque « nez-gorge-oreilles ».Le rhinocéros a une corne à l’avant du museau.Celui qui souffre de rhinite se mouche fréquemment.

Le mot grec rhis, rhinos, signifie :1. Corne2. Gorge3. Maladie4. Nez5. Visage

Les distracteurs doivent indiquer le type d’erreur commise ou le cheminement incorrect suivi par l’apprenant …

D’où le recours à leurs propres erreurs en QROC.


25

Règle 6

En 1452, voguant sur la Santa Maria, la Pinta et la Nina,Christophe Colomb a découvert l’Amérique du Sud.

1. Vrai 2. Faux


26

Règle 6

En 1452, voguant sur la Santa Maria, la Pinta et la Nina,Christophe Colomb a découvert l’Amérique du Sud.

1. Vrai 2. Faux

On doit préciser sur quelle partie de l’énoncé porte la question.


27

C. Règles de rédaction sur la forme


28

Règle 7

Lequel des aliments ci-dessous apporte des lipides ?

1. Eau2. Huile3. Œuf4. Viande


29

Règle 7

Lequel des aliments ci-dessous apporte des lipides ?

1. Eau2. Huile3. Œuf4. Viande

La question doit être compatible avec la consigne.

Ici, la question annonce qu’une seule solution est correcte, alors que plusieurs des aliments cités contiennent des lipides.


30

Règle 8On appelle translation le mouvement que la terre effectue 1. d’une durée d ’un jour (soit 24 heures).2. en 365 jours (soit un an).3. dont la durée est de 1440 minutes.4. sur elle-même autour de l’axe Nord-Sud.


31

Règle 8On appelle translation le mouvement que la terre effectue 1. d’une durée d ’un jour (soit 24 heures).2. en 365 jours (soit un an).3. dont la durée est de 1440 minutes.4. sur elle-même autour de l’axe Nord-Sud.

RC = 2

Proposer des phrases (tronc + solutions) syntaxiquement correctes.


32

Transgression de la règle 8« proposer des phrases syntaxiquement correctes »

La dernière amitié de Harlan Stone est un

1. satire politique2. récit autobiographique3. histoire de science fiction4. courte biographie

35%

(Diamond & Evans, 1972)


33

Règle 9

Quel est l’élément du sang qui transporte l’oxygène ?1. Le fer2. L’hémoglobine3. Les globules rouges


34

Règle 9

Quel est l’élément du sang qui transporte l’oxygène ?1. Le fer2. L’hémoglobine3. Les globules rouges

RC = Toutes, si « élément » est pris au sens large.

Pas de terme vague ou ambigu dans l’énoncé.

Ici « élément » : dans le sens du tableau de Mendeleev ?


35

Règle 10

N ’est-il pas faux de nier que l’absence d’arrêt à un signal STOPn’entraîne pas automatiquement le retrait du permis de conduire ?

1. Oui2. Non


36

Règle 10

N ’est-il pas faux de nier que l’absence d’arrêt à un signal STOPn’entraîne pas automatiquement le retrait du permis de conduire ?

1. Oui2. Non

Éviter les formes négatives (syntaxiques et sémantiques),a fortiori proscrire leur accumulation.


37

Règle 11Lequel des 3 dessins ci-dessous représente une embarcation armée en pointe (le rameur tire l’aviron des deux mains) avec barreur (l’équipier qui tient la barre du gouvernail) ? Dans une embarcation armée en couple, il y a deux avirons parbarreur. La définition d’aviron, est « rame élargie à un bout en forme de pelle ». Le mot « aviron » vient de l ’ancien français « viron », qui signifiait « tour ».


38

Règle 11

Mais Dans une embarcation armée- en pointe, le rameur tire un aviron des deux mains- en couple, chaque rameur a deux avirons.

La définition d’aviron, est « rame élargie à un bout en forme de pelle ».Lequel des 3 dessins représente une embarcation armée en pointe avec barreur ?

Lequel des 3 dessins ci-dessous représente une embarcation armée en pointe (le rameur tire l’aviron des deux mains) avec barreur (l’équipier qui tient la barre du gouvernail) ? Dans une embarcation armée en couple, il y a deux avirons parbarreur. La définition d’aviron, est « rame élargie à un bout en forme de pelle ». Le mot « aviron » vient de l ’ancien français « viron », qui signifiait « tour ».

Séparer informations et questions. Formation CGQTS 20/10/2004 - Fortis - Jean-Luc Gilles & Pascal Detroz

39

Règle 12

La température de solidification d ’une matière est :

1. inférieure à la température de fusion de cette matière.2. égale à la température de fusion de cette matière.3. supérieure à la température de fusion de cette matière.


40

Règle 12

La température de solidification d ’une matière est :

1. inférieure à la température de fusion de cette matière.2. égale à la température de fusion de cette matière.3. supérieure à la température de fusion de cette matière.

Mais

La température de solidification d’une matière est 1. inférieure2. égale3. supérieure

à sa température de fusion.

Regrouper dans l’amorce les éléments communs aux solutions proposées.


41

D. Règles de rédaction des solutions proposées


42

Règle 13Le muscle du bras dont la contraction permet d’effectuer le mouvement représenté ci-contre est 1. Le deltoïde2. Le triceps3. Au contraire, le biceps4. En plus, le cubitus de la main.


43

Règle 13Le muscle du bras dont la contraction permet d’effectuer le mouvement représenté ci-contre est 1. Le deltoïde2. Le triceps3. Au contraire, le biceps4. En plus, le cubitus de la main.

Indépendance syntaxique des solutions proposées.


44

Règle 14Une solution d’eau salée en sel de cuisine peut descendresans geler jusqu’à une température de

1. 0° centigrades2. -2° centigrades3. -4° centigrades4. -6° centigrades


45

Règle 14Une solution d’eau salée en sel de cuisine peut descendresans geler jusqu’à une température de

1. 0° centigrades2. -2° centigrades3. -4° centigrades4. -6° centigrades

Les solutions proposées doivent être sémantiquement indépendantes les unes des autres.


46

Transgression de la règle 14« les solutions proposées doivent être sémantiquement

indépendantes les unes des autres »(Diamond & Evans, 1972)

La population de la ville de Frankton est inférieure à1. 50 mille habitants2. 60 mille habitants3. 70 mille habitants4. 80 mille habitants

45%

(Slakter et al. 1972)

Quand on ajoute des cristaux de Bestor à l’eau,1. de la chaleur se dégage2. la température de la solution s’élève3. la solution devient bleue4. le récipient devient plus chaud

52% et79%


47

Règle 15Quel est le nom de l’organisme de police internationale ?

1. CIA2. FBI3. Interpol4. SAS


48

Règle 15Quel est le nom de l’organisme de police internationale ?

1. CIA2. FBI3. Interpol4. SAS

Mêmes mots communs avec l’amorce.


49

Transgression de la règle 15« même mots communs avec l’amorce »

(Marshall & Hales, 1971)

Le Parti National Augustin a son quartier général à

1. Camdem, dans le new jersey2. St Augustin, en Floride3. Palo Alto, en Californie4. Dallas, au Texas

66% et82%


50

Règle 16Quel groupe sanguin est « receveur universel » ? 1. A2. B3. AB4. O5. AO


51

Règle 16Quel groupe sanguin est « receveur universel » ? 1. A2. B3. AB4. O5. AO

Même vraisemblance.


52

Transgression de la règle 16« même vraisemblance »

Le vent du désert de Zubi est fait

1. de petits insectes2. de cristaux de cuivre3. de cristaux de glace4. d’aiguilles de pins

83%


53

Règle 17Le mot « spinaker » désigne :

1. Un chien écossais2. Une voile triangulaire de grande surface, légère et très

creuse, que les yachts envoient dans la marche au vent arrière

3. Un chant tyrolien4. Un instrument de musique


54

Règle 17Le mot « spinaker » désigne :

1. Un chien écossais2. Une voile triangulaire de grande surface, légère et très

creuse, que les yachts envoient dans la marche au vent arrière

3. Un chant tyrolien4. Un instrument de musique

RC = 2

Même complexité : la solution correcte ne doit pas être systématiquement plus longue que les autres.


55

Transgression de la règle 17« même complexité : la solution correcte ne doit pas être systématiquement plus longue que les autres »

(Diamond & Evans, 1972)

La loi Davis (XIX° siècle)

1. Fournit de l’argent aux écoles.2. Abolit une loi précédente3. Interdit la fabrication, la vente, le transport

ou l’utilisation de divers médicaments qui étaient alors utilisés dans des intentions illégales.

4. Augmenta le salaire des agents de l’état.

53%


56

Règle 18Un incendie se déclare dans une cuisine. L’occupant n’arrive pas à le maîtriser. Que doit-il faire ?

1. Couper l’arrivée du gaz au compteur2. Téléphoner aux pompiers3. Evacuer les enfants4. 1 et 25. 1, 2 et 3


57

Règle 18Un incendie se déclare dans une cuisine. L’occupant n’arrive pas à le maîtriser. Que doit-il faire ?

1. Couper l’arrivée du gaz au compteur2. Téléphoner aux pompiers3. Evacuer les enfants4. 1 et 25. 1, 2 et 3

RC = 5

Même complexité.


58

Règle 19Dans une distribution normale (courbe de Gauss), la moyenne

1. est toujours supérieure à l’écart-type.2. est toujours inférieure à l’écart-type.3. est parfois inférieure à l’écart-type.

Le terme épicéa désigne

1. Tous les arbres résineux.2. Tous les pins.3. Certains types de pins.


59

Règle 19Dans une distribution normale (courbe de Gauss), la moyenne

1. est toujours supérieure à l’écart-type.2. est toujours inférieure à l’écart-type.3. est parfois inférieure à l’écart-type.

RC = 3 Le terme épicéa désigne

1. Tous les arbres résineux.2. Tous les pins.3. Certains types de pins.

RC = 3

Même niveau de généralité dans les indicateurs (temps, modificateurs, …)


60

Transgression de la règle 19« même niveau de généralité dans les indicateurs

(temps, modificateurs …) »(Marshall & Hales, 1972)

Herman Klavemann est célèbre parce que

1. Il a développé toutes les échelles musicales utilisées en occident.2. Il a composé toutes les sonates pendant la période romantique.3. Il a traduit tous les classiques russes en anglais.4. Il a inventé l’épingle de sûreté.50%


61

Règle 20Dans l’islam chiite, un ayatollah est

1. Un imam2. Un uléma3. Une autorité religieuse4. Un derviche


62

Règle 20Dans l’islam chiite, un ayatollah est

1. Un imam2. Un uléma3. Une autorité religieuse4. Un derviche

RC = 3

Même degré de technicité du vocabulaire dans toutes les solutions proposées.


63

E. Règles de rédaction des solutions générales implicites


64

Les solutions générales implicites

• Les QCM comportent une et une seule réponse correcte.

6 ou NUL ou REJET7 ou TOUTES8 ou MANQUE9 ou ABSURDITE

• Certaines solutions font appel à votre vigilance : les solutions générales implicites.

• Elles sont proposées sous les numéros de code suivant : 6-7-8-9 et ne sont pas dactylographiées dans les QCM.


65

ABSURDITE : Une ABSURDITE dans l’énoncé rend toute la question sans objet parce qu’il y a par exemple une CONTRE-VERITE dans l’énoncé (il ne s’agitpas ici de dénoncer une absurdité dans les solutions ni dans le livre !).

NUL ou REJET : Aucune des solutions proposées n’est correcte.

TOUTES : Toutes les solutions proposées sont correctessimultanement.

MANQUE : Il est impossible de répondre parce que del’information (au moins une donnée) NECESSAIRE manque dans l’énoncé de la question (donc pas dans le cours ni dans les connaissances actuelles du problème).


66

Règles concernant la SGI « aucune »

• Il doit exister une ou plusieurs solution(s) correcte(s) non proposée(s), pour éviter de devoir accepter comme réponse correcte « MANQUE » et « ABSURDITE ».

• Toutes les solutions proposées doivent être totalement incorrectes pour éviter la réponse « ça dépend » (donc « MANQUE »).


67

Règles concernant la SGI « toutes »

• La consigne doit rappeler que ce « TOUTES » porte sur les solutions proposées et non pas sur l’ensemble des solutions imaginables.

• Il ne doit pas y avoir une solution manifestement beaucoup meilleure que les autres, ni une beaucoup moins attractive.

• Avec cette consigne, les questions où la solution TOUTES est correcte sont plus faciles car il suffit de se rendre compte que plus d’une solution est correcte pour en conclure qu’elles le sont toutes.


Documents

Formation FORTIS à la Construction et la Gestion Qualité des Tests Standardisés « CGQTS »