C. Jacqmot E. Billat I. Lecroart ADEF/EVA eva@uclouvain.be

CORRECTION PAR LECTURE OPTIQUE DE QCM : TESTS, EXAMENS, ETC.

Plan

Introduction - Contexte

Concrètement, pour la prochaine session 1. Planification et préparation 2. Passation du test 3. Collecte des données 4. Reporting 5. Ajustements

Vos questions

Introduction

Contexte général

Correction par lecture optique Etape 1 :

reconnaissance optique des cases cochées + interprétation des lignes de cases cochées/corrigées/ …

Etape 2 + calcul de points bruts + mise « à l’échelle » (notes /20) + association à un NOMA+Nom+Prénom+An. Étud.

Contexte UCL

Environ 400 tests corrigés par lecture optique par an (tests = QCM examens, interrogations, épreuves)

1 test 1 questionnaire par étudiant 1 questionnaire un formulaire de 1 ou 2 feuilles 1 test = entre 30 et 600 feuilles

1 test : entre 1h et 7h de travail pour EVA, tout compris; économie de temps pour l’enseignant : entre

3h et 3 jours.

Equipe : Etienne Billat, Isabelle Lecroart

Choix d’un nouveau système

Octobre 2009 : Panel de 12 utilisateurs 3 systèmes (solutions complètes, questionnaires

papier, gestions des points et des cohortes, production de « feuilles de notes »)

Compatibilité avec les solutions déployées à LeW (Téléform)

Consilium process automation solutions

Contest : un système en 5 étapes

1. Planification et préparation Créer un test un jeu de questions, les réponses, les versions (séries), les

points, la notation (/20)…

Créer un test encoder les métadonnées dans Contest : les réponses, les versions (séries), les points (score), les règles de notation (/20)…

les formulaires

2. Passation du test Distribution et collecte de formulaires aux étudiants

3. Collecte des données Reconnaissance optique (limiter les interventions manuelles)

4. Reporting Calcul des résultats : détail des points par étudiants, note finale par

étudiant, mais aussi éléments (détail des réponses, p.ex.)

5. Ajustements Questions invalidées, ajustements suite à l’examen des copies, bonus…

Etape, par étape : Qui, quoi, comment …..

Concrètement,

1. Planification et préparation Prévoir un délai de 1 semaine pour encodage et validation par EVA

1. Planification et préparation

Créer un test le décrire

Un questionnaire à choix multiples se compose d'un ensemble de questions : chaque question comporte un libellé (item) et plusieurs propositions de réponses.

Une option d’abstention explicite permet à l’étudiant d’indiquer qu’il ne connaît pas la réponse

Un barème définit comment pondérer les résultats d'un QCM. Il définit les règles d’attribution des points par item. Exemple :

Conformité stricte Réponse juste cochée = 1 point ; autre proposition cochée = 0

Conformité stricte avec pénalité Réponse juste cochée = 1 point ; autre proposition cochée = -1

Conformité stricte avec pénalité et abstention Réponse juste cochée = 1 point ; autre proposition cochée = -1/2; abstention = 0

Le score est le nombre total de points obtenus par un étudiant pour l’ensemble des items (score)

Une note finale (grade) est générée à partir du score lorsque l’on connaît à quelle « échelle » mettre le score : note finale /10, /15, etc.

1a. Planification et préparation

Créer un test le décrire

1a. Planification et préparation

1a. Planification et préparation

1a. Planification et préparation

Si plus d’une série : expliciter à partir de la description générale (qui correspond à la première série)

1b. Planification et préparation

Créer un test l’injecter dans Contest (métadonnées)

l’associer dans Constest à un questionnaire prédéfini (standard) le plus adapté à la situation

1b. Planification et préparation

x

1c. Planification et préparation

Faire reproduire le formulaire (vous)

2. Passation du test Elément indispensable : le NOMA !

Une bonne indication à donner aux étudiants : cocher avec un crayon NOIR + gomme

2. Passation du test

Consignes : la possibilité de traiter ou non par lecture optique les grilles de réponses des étudiants dépend du respect de ces consignes.

Temps 1 : cartouche d’identification NOMA (sur la carte annuelle) Série (précochée à vérifier) L’identité et autres informations signalétiques (en cas de

problème, permet de retrouver qui est le bénéficiaire des points! )

NOMA : 01234599

Passation du test

Consignes !

2. Passation du test

Temps 2 + Temps 3

3. Collecte des données NOMA , série

Coches en NOIR (idéal : crayon NOIR mine grasse)

3. Collecte des données

EPC : NOMA Nom, Prénom, An. Et.

Certaines validations et rectifications manuelles

4. Reporting Important pour valider les éléments du rapport Par série, comparer les résultats produits automatiquement avec 3 copies corrigées et notées manuellement

4. Reporting : Exam analysis report

+ statistical details

4. Reporting : Version mapping report

Items V1 « de base »

Position des items dans les versions

Si groupes utilisés (nous contacter)

Options = nbr de cases à cocher Keys = « bonnes réponses »

4. Reporting : Grading report

NOMA Nom, prénom Sigle AnEt Nb Pts Grade q = pts ouverte mis à l’échelle

c

4. Reporting – Result check report

Par étudiant, par formulaire scanné, par item V = version du participant (NOMA étudiant) . = bonne réponse cochée X = lettre de la mauvaise réponse cochée - = question ouverte

5. Sur demande – Item analysis report

5. Sur demande – Item analysis report

5. Ajustements valider les éléments du rapport

5. Ajustements

Scan des feuilles

Trace dans le système

Rapport final

Ajustements : décisions pédagogiques

Supprimer une question Changer réponses, les barèmes, le grade Ajouter des bonus (ex : questions ouvertes, travaux

durant l’année)

Adapter un NOMA …

Ajustements : lorsque tout est OK

Production du rapport final, de complet à très complets (sans doute trop complexe alors)

Clôture du test (verrouillage)

Avantage : Traçabilité

DONC

-1

0

1

2

3

4

5

6

Semaine

WE

nbres examens

En résumé – points d’attention

Planification (injection de métadata et liaison à un questionnaire) : formulaire de « description » : doit être en EVA 8 jours avant l’obtention de la grille des coches eva@uclouvain.be; demander formulaire de description en indiquant

le nombre approximatif d’items Le sigle du cours et la date de l’examen

Formulaires standards : à reproduire par l’enseignant Rigueur pour compléter le formulaire : consignes pour surveillants, transparent pour

étudiants (rétroprojecteur ou data) – prendre le temps en début d’examen ! NOMA Séries à vérifier (précochées, feuilles de couleur OK) coches et correction des réponses / absentions encre noire ou crayon/gomme (prévenir les étudiants!)

Validation : très important ! Comparer avec 3 ou 4 examens corrigés « manuellement » A posteriori : par l’enseignant qui consulte le rapport et signale immédiatement toute anomalie

Plus tard : rôles et accès web au système pour les enseignants (décentralisation des accès) … autre

formation

Vos questions ….