Communauté de recherche et dentraide en éducation Service de soutien, dentraide, dinnovation et de valorisation de lenseignement CREÉ SSEIVE Évaluation

Communauté de recherche et d’entraide en éducationService de soutien, d’entraide, d’innovation et de valorisation de l’enseignement

CREÉ SSEIVE

Évaluation des apprentissages II

(la confection des questions d’examen)

Denis Savard, professeurFaculté des Sciences de l’éducation (Université Laval)

Louise Arsenault, conseillère en formationFaculté des Sciences et de Génie, Faculté de Médecine (Université

Laval)

Michel-Ange Augustin, doctorant, consultant,Faculté des Sciences de l’éducation (Université Laval)

SSEIVE (Université de Moncton, campus d’Edmundston)

2 CREÉ SSEIVE

Le plan de cours (outil de planification)

Les objectifs d’apprentissage Sous forme de liste…

Les modalités d’évaluation Forme Fréquence Échéances Pondération Critères généraux d’évaluation L’appréciation de la qualité de la langue

3 CREÉ SSEIVE

Faire le plan d’un examen (1)

Tableau de spécification

1. Préciser le contenu

2. Préciser les habiletés (niveau taxonomique)

3. Établir la pondération

4 CREÉ SSEIVE

Tableau de spécification

Contenu

Niveaux taxonomiques

Algèbre Géométrie Trigonométrie Total

Connaître Dimension 1 Dimension 4 Dimension 7 20

Comprendre Dimension 2 Dimension 5 Dimension 8 30

Appliquer Dimension 3 Dimension 6 Dimension 9 30

Analyser / Synthétiser..

Dimension 10 20

Total. 50 30 20 100

5 CREÉ SSEIVE

Faire le plan d’un l’examen (2)

Spécification de l’épreuve

Pour chacune des cellules du tableau de spécification

1. Spécifier le nombre et le type de questions

2. Établir la pondération de chacune des questions

6 CREÉ SSEIVE

Tableau de spécifications

cou

rs

Tableau de Tableau de spécificationspécification

ss

ExameExamenn

7 CREÉ SSEIVE

Principales qualité d’un instrument de mesure

VALIDITÉ

Qualité d’un instrument qui mesure bien ce qu’il est censé mesurer.

FIDÉLITÉ

Qualité d’un instrument à mesurer avec la même exactitude chaque fois qu’il est administré.

stabilité équivalence consistance interne

8 CREÉ SSEIVE

Validité de contenu

Type de validité qui indique le degré de:

A. congruence de chacun des items avec l’objet mesuré;

B. représentativité de l’ensemble des items d’un instrument de mesure en regard de ce qu’on veut mesurer.

9 CREÉ SSEIVE

Validité de contenu (conditions)

Contenu

Niveaux taxonomiques

Algèbre Géométrie Trigonométrie Total

Connaître congruencepertinence

représentativité

congruencepertinence

représentativité


représentativité

20

Comprendre congruencepertinence

représentativité


représentativité


représentativité

30

Appliquer congruencepertinence

représentativité


représentativité


représentativité

30

Analyser / Synthétiser..


représentativité

20

Total 50 30 20 100

10 CREÉ SSEIVE

Congruence

La congruence est la relation étroite qui doit exister entre une situation d’évaluation et objet mesure.

Les 3 principaux critères : le verbe (objectif) ou le niveau taxonomique le contenu les conditions

11 CREÉ SSEIVE

Pertinence

Les questions posées touchent des points importants de la matière:

concept de tâche type.

12 CREÉ SSEIVE

Représentativité

Les questions posées sont représentatives de la dimension mesurée.

13 CREÉ SSEIVE

Modèle de mesureV = X ± E

V : "vrai" score de l'étudiante ou de l'étudiant

X : résultat de l'étudiante ou de l'étudiant

E : erreur de mesure (+ ou -)

14 CREÉ SSEIVE

Fidélité

Attention aux erreurs de mesure inhérentes...

à l'instrument de mesure (formulation des questions, grille de correction… )

aux conditions de passation à l'étudiante et l'étudiant (peu de contrôle)

Communauté de recherche et d’entraide en éducationService de soutien, d’entraide, d’innovation et de valorisation de l’enseignement

CREÉ SSEIVE

Construire des examens

de type papier-crayon

16 CREÉ SSEIVE

Rédiger une question (1)

1. Choisir l’objectif.

2. Rédiger une question qui contient toutes les limites et les conditions nécessaires à la résolution du problème. Séparer la consigne de la question.

Pour vous aider à rédiger une question : Mise en situation Données du problème Tâche de l’étudiant : la question Consigne : la façon de répondre Espace de réponse (démarche, résultat, unités) Modalités de correction

17 CREÉ SSEIVE


3. Utiliser la phrase impérative ou interrogative. Éviter de terminer l’énoncé par des points de suspension…

La congruence est ….? Quelle est la définition du concept de congruence dans le

contexte de la mesure des apprentissages?

4. Éviter les extraits textuels tirés des manuels.

5. Éviter de rédiger des questions plus difficiles que ne le prescrit l’objectif.

18 CREÉ SSEIVE


6. Présenter sur une même page toutes les questions se rapportant à une même mise en situation.

Sinon, répéter la question sur une deuxième page.

7. Rédiger des questions indépendantes les unes des autres.

Sinon, vous pénalisez l’étudiant qui, pour une contre-performance, perd des points à plus d’un endroit sur la grille de correction.

19 CREÉ SSEIVE


8. Rédiger la question pour qu’elle corresponde à l’objectif dont elle doit mesurer l’atteinte.

CongruenceCongruence

20 CREÉ SSEIVE


9. À l’intérieur de la question, rédiger des consignes précises, claires et complètes.

Le nombre de bonnes réponses, l’endroit où les étudiants doivent indiquer la réponse et la façon de l’exprimer, l’endroit où l’on exécute les calculs, les pénalités imposées pour ajout d’éléments étrangers à la réponse, etc.

10. Éliminer les renseignements superflus dont la présence risque de compliquer inutilement la tâche de l’étudiant.

21 CREÉ SSEIVE


11. Employer un vocabulaire adapté aux étudiants.

12. Indiquer le nombre de points accordés à chaque question.

13. Choisir un type de questions que les étudiants connaissent.

À réponse choisie : Choix de réponse, vrai ou faux, association

À réponse construite : Phrase à compléter, réponse courte, réponse

développée

22 CREÉ SSEIVE

Question à choix de réponses (1)

Variations : trouver la bonne réponse trouver la meilleure réponse trouver la seule réponse qui soit fausse trouver toutes les bonnes réponses trouver la réponse qui ordonne une série d’énoncés trouver des contre-exemples trouver l’élément manquant trouver l’élément étranger identifier l’incident critique ou l’élément significatif etc.

23 CREÉ SSEIVE


Quelle est la séquence de verbes d'action qui correspond à une introduction bien structurée?

a. Amener, poser, diviser * b. Annoncer, amener, ouvrir c. Choisir, recommander, identifier d. Ouvrir, préciser, choisir e. Poser, amener, diviser

24 CREÉ SSEIVE


Quelle est l'affirmation qui est fausse?

a. Avant d'être discutés et analysés, les résultats doivent être présentés.

b. Il n'y a pas de nouvelle argumentation dans une conclusion. *

c. Les temps les plus utilisés pour rédiger un rapport technique sont le présent et l'imparfait.

d. Le titre d'une figure doit être placé en dessous de la figure.

e. Toutes les références doivent être citées dans le corps du rapport.

25 CREÉ SSEIVE


1. Rédiger de 3 à 5 réponses (leurres) qui doivent être consistantes et appropriées à la question (~ même longueur, ~ même complexité et ayant le même attrait)

2. Placer les réponses en ordre : alphabétique ordinal chronologique etc.

26 CREÉ SSEIVE


3. Utiliser avec prudence le choix AUCUNE DE CES RÉPONSES ou TOUTES CES RÉPONSES SONT BONNES

4. Autant que possible, placer les réponses en colonne plutôt que de les disposer horizontalement.

L’important, c’est d’être uniforme dans la présentation.

5. Trier en colonne plutôt qu’en lignea c

b d

27 CREÉ SSEIVE

Question de type vrai ou faux (1)

Variations :

La forme bon/mauvais, plus petit/plus grand, fait/opinion, etc.

La forme correction

28 CREÉ SSEIVE


Forme correction

Indique si la proposition ci-dessous est vraie ou fausse. Si elle est fausse, transforme la partie soulignée de l’énoncé pour rendre la proposition vraie.

La validité de contenu est la première qualité dont on doit se préoccuper lors de la confection d’examens. V F

Correction si nécessaire : __________________

29 CREÉ SSEIVE


1. Présenter une seule idée importante par question.

2. Présenter des énoncés manifestement vrais ou faux.

3. Présenter des énoncés plutôt brefs que longs.

30 CREÉ SSEIVE


4. Utiliser avec prudence les termes TOUS, TOUJOURS, JAMAIS, qui sont associés à des énoncés faux. Les termes PARFOIS, SOUVENT, LA PLUPART, sont associés à des énoncés vrais et les termes FRÉQUENT, NOMBREUX, PLUSIEURS, PEU, sont ambigus.

5. Éviter les doubles négations.

31 CREÉ SSEIVE

Question de type association (1)

Variations:

L’association simple

L’association multiple : associer plusieurs éléments

La classification : classifier des éléments selon des catégories

32 CREÉ SSEIVE

Voici, présentés à gauche, des CONCEPTS de base en mesure et évaluation et, à droite, des DÉFINITIONS. Associer, à chacun des concepts, la bonne définition. Inscrire, en regard du nombre, la lettre appropriée.

CONCEPTS(l’ensemble questions)

___ 1. CONGRUENCE

___ 2. VALIDITÉ

___ 3. FIDÉLITÉ

DÉFINITIONS(l’ensemble réponses)

A) Lien étroit entre l’objectif et la question d’examen

B) Qualité d’un instrument qui fait référence à la stabilité des résultats

C) Qualité d’un instrument qui mesure bien ce qu’il prétend mesurer

D) Ensemble des opérations pour modérer les résultats d’un instrument

33 CREÉ SSEIVE


1. Donner le schéma de base de l’association, décrire l’ensemble questions ainsi que l’ensemble réponses et indiquer s’il y a répétition ou non des éléments de l’ensemble réponses.

2. Placer dans chaque ensemble des éléments homogènes.

3. Ne pas compter au total plus de dix éléments dans l’ensemble réponses.

34 CREÉ SSEIVE


4. Placer un plus grand nombre d’éléments dans l’ensemble réponses.

5. Désigner l’ensemble questions par des nombres et l’ensemble réponses par des lettres. Habituellement l’ensemble réponses est placé à gauche.

6. Placer les éléments de l’ensemble réponses dans l’ordre qui facilite le travail de l’étudiant.

35 CREÉ SSEIVE

Question de type phrase à compléter (1)

Variations : question à réponse unique question à réponses multiples phrase à compléter dont l’omission est à

l’intérieur d’un choix de réponses, ne rédiger qu’une partie révélatrice d’une

tâche: le paragraphe d’introduction ou de conclusion, les phrases de transition, une suite de mots clés, les trois dernières lignes de programmation, etc.

36 CREÉ SSEIVE


Le lien étroit qui doit exister entre un objectif spécifique et une question d’examen se nomme ___________.

37 CREÉ SSEIVE


1. N’enlever que les termes importants de la phrase.2. Ne placer qu’une ou deux omissions par phrase à

compléter.3. Placer les omissions vers la fin de la phrase.4. Placer un espace ou un trait constant pour toutes

les omissions et ce, sans égard à la longueur des mots omis.

5. Si la réponse porte sur des quantités, indiquer les unités demandées.

38 CREÉ SSEIVE

Question à réponse courte (1)

Variations : question à réponse unique question à réponses multiples définir un mot clé construire un schéma donner un exemple identifier une loi, un principe rédiger une phrase, etc.

39 CREÉ SSEIVE


1. Présenter le problème en posant une question plutôt qu’en formulant une affirmation.

2. Prévoir un espace après chaque question pour que l’étudiant puisse inscrire sa réponse.

40 CREÉ SSEIVE


Quelle est la définition du concept de congruence? La réponse attendue s’exprime en moins de 3 lignes.

___________________________________________________________________________________________________

41 CREÉ SSEIVE

Question à réponse développée (1)

Variations :

résoudre un problème extrapoler établir des rapports, des liens expliquer, synthétiser, analyser, évaluer, réaliser

une production résumer etc.

42 CREÉ SSEIVE


1. Structurer, encadrer suffisamment le problème présenté dans la question pour que la réponse soit orientée vers ce que l’on se propose de mesurer.

43 CREÉ SSEIVE


En un maximum de 300 mots, expliquer l’importance des objectifs dans la construction des instruments de mesure.À l’intérieur de votre réponse, on doit retrouver trois avantages d’une telle pratique ainsi qu’un exemple.

___________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

…

44 CREÉ SSEIVE


2. Si vous le jugez à propos, avertir l’étudiant qu’il sera pénalisé s’il introduit dans sa réponse des éléments étrangers au problème à résoudre.

3. Mieux vaut indiquer l’ordre de grandeur de la réponse souhaitée.

Exemples : En un maximum de deux pages… En 300 mots… À l’intérieur du tableau…

45 CREÉ SSEIVE


4. Prévoir l’espace nécessaire pour la réponse. Une mise en page structurée peut aider à corriger ces réponses

longues.

5. À titre indicateur, préciser le temps normalement alloué pour répondre à la question.

6. Pour concevoir le corrigé, vous pouvez rédiger une réponse-type et souligner les mots clés.

Il est plus facile, juste et équitable de corriger la première question pour tout le groupe avant de corriger la deuxième.

Documents

Communauté de recherche et dentraide en éducation Service de soutien, dentraide, dinnovation et de valorisation de lenseignement CREÉ SSEIVE Évaluation