Présentation d'un outil logiciel pour soutenir

la détection des tentatives de fraudes

lors de l'évaluation des apprentissages

Sébastien Béland (UQAM)Gilles Raîche (UQAM)

David Magis (U. Liège)Martin Lesage (UQAM)

ADMÉE CanadaJeudi 26 novembre 2009

Plan

1. Mise en contexte.

2. Classification des indices.

2.1 Indices non-paramétriques.

2.2 Indices paramétriques.

3. Le programme personFitR.

4. Un exemple d’application.

5. Discussion.

1. Mise en contexte

75% des étudiants américains ont déjà triché (Hutton, 2006).

78% des enseignants au collégial croient que leurs étudiants ne répondent pas correctement aux tests (Laurier, Froio, Pearo et Fournier, 1998).

1. Que peut-on faire pour prévenir ce type de comportement/stratégie? Avoir plusieurs surveillants au sein d’une

classe. Avoir des locaux bien éclairés. Répéter le même item sous différentes

formes afin de vérifier la consistance des réponses d’un sujet.

Etc.

1. Indices de détection de patrons de réponses inappropriés

Indice de détection

{0,0,1,1,1,0,0,1,1}

Résultat du calcul

2. Classification des indices

Selon Meijer et Sijtsma (2001) et Karabatsos (2003), il existe 2 grandes catégories d’indices:

Indices paramétriques (découlant de la théorie de la réponse aux items).

Indices non-paramétriques (ne découlant pas de la théorie de la réponse aux items).

),(

,, )1(fd

fidi xxG

G=Σ0(1-0)+1(1-0)+1(1-0)

2.1 Indices non-paramétriques: un exemple

2 erreurs de Guttman

Patron de réponses ordonné d’un sujet = {001} 

Guttman (1944, 1950)

2.2 Indices paramétriques

)(1

1)(

ii bai

iie

ccP

Où θ est un paramètre d’habileté de la personneai un paramètre de discrimination de l’itembi un paramètre de difficulté de l’itemci un paramètre de pseudo-chance de l’item

Cette catégorie d’indices est basée sur la probabilité de bonne réponse d’un étudiant à un item.

2.2 Indices paramétriques: un exemple

I

i

iiii PxPxL1

0 )(1ln)1()(ln

2/10

00

)(

)(

LVAR

LELLz

I

i

iiii PPPPL1

0 )(1ln)(1)(ln)()(

I

i i

i

iiP

PPPLVAR

1

2

0 )(1

)(ln)(1)()(

Levine et Rubin (1979)

Drasgow, Levine et Williams (1985)

3. Malheureusement, il existe peu de logiciels qui intègrent ce genre d’indices WPerfit (Ferrando et Lorenzo, 2000)

Lz, ECIz2 et ECIz4

Package ltm (Rizopouloz, 2009)

Lz

Webdétecte (Raîche, 2005)

Lz

3. personfitR: 27 indicesIndices non-paramétriques Indices paramétriques

G Guttman (1944, 1950) U Wright et Stone (1979)

G* Van Der Flier (1977) lnU Wright (1980)

NCI Tatsuoka et Tatsuoka (1982) ZU Wright et Stone (1979)

C Sato (1975) W Wright (1980)

MCI Harnisch et Linn (1981) lnW Wright (1980)

rbis Donlon et Fischer (1968) ZU Wright et Stone (1979)

  Lo Levine et Rubin (1979)

  LzDrasgow, Levine et

Williams (1985)

  MMolenaar et Hoijtink

(1990)

  ECI Tatsuoka (1984)

  Zeta Tatsuoka (1996)

  Sfit Ferrando (2004)

    Cfit et DfitBlais, Raîche et Magis

(2009)

3. personFitR: commentaires préliminaires

Le programme utilise uniquement des matrices de données dichotomiques.

Le traitement des données manquantes doit se faire a priori.

Il est possible d’utiliser les modèles logistiques 1PL, 2PL et 3PL dans le cas des indices paramétriques.

3. Structure théorique de personfitR

Fonction perfitFull

Indice…

Fonction perfit

Indice…Indice…Indice…

perfitFull( index=“Lz”, data,

subject=1:nrow(daa), it=NULL, model= “1PL“, method=“ML“ )

3. personFitR: la commande principale

3. personFitR: la commande principaleperfitFull( index=“Lz”,

data, subject=1:nrow(data),

it=NULL, model=“1PL”, method=“ML“ )

indexChoix de un ou plusieurs indice(s).

3. personFitR: la commande principaleperfitFull( index="Lz",

data, subject=1:nrow(data),

it=NULL, model="1PL", method="ML“ )

dataNom de la matrice à analyser.

3. personFitR: la commande principaleperfitFull( index=“Lz”,

data, subject=1:nrow(data),

it=NULL, model=“1PL”, method=“ML“ )

subjectPossibilité d’obtenir le score de l’indice pour un ou plusieurs sujets particuliers. Il est à noter que les sujets sont tous sélectionnés par défaut.

3. personFitR: la commande principaleperfitFull( index="Lz",

data, subject=1:nrow(data),

it=NULL, model="1PL", method="ML“ )

It=NULLCet argument est la matrice des paramètres d’items. Dans le cadre de personFitR, nous faisons un appel au programme-logiciel difR pour faire l’estimation. Ici, on peut l’estimer les items (par défaut).

3. personFitR: la commande principaleperfitFull( index="Lz",

data, subject=1:nrow(data),

it=NULL, model="1PL", method="ML“ )

model="1PL",L’utilisateur peut sélectionner le modèle 1PL, 2PL ou 3PL.

3. personFitR: la commande principaleperfitFull( index=“Lz”,

data, subject=1:nrow(data),

it=NULL, model=“1PL", method=“ML“ )

method="ML“

L’utilisateur doit sélectionner une méthode d’estimation de l’habileté suivante: ML, MAP

et WLE.

4. Un exemple

Données

Test de classement en anglais-langue seconde passé à 1373 étudiants du Collège de l’Outaouais (1998).

85 items divisés en 8 sous-tests.

4. Un exemple: LoStatslz <- perfitFull(index="Lo",x, model=“2PL",method="MAP")

5. Discussion

Extensions futures

Implémentation de Lz* (Snijders, 2001). Possibilité d’utiliser le 4PL. Possibilité de fixer la valeur de la pseudo-

chance. Ajout d’autres indices.

Merci de votre attention!!!