33
Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre 2005

Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

Embed Size (px)

Citation preview

Page 1: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF

Z. AdamGruppo del supporto regionale

Per la valutazione

15 Dicembre 2005

Page 2: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

Legenda e istruzioni per la lettura dei datiINValSI - Sicotem © 1996/2004 - Work in progress - Updated version, 17.10.2005 11.25

Media:Media aritmetica, valore centrale di una distribuzione somma di tutti i valori di una distribuzione divisa per il numero dei casi. Ad esempio l'altezza media degli alunni di una classe è data dalla somma delle altezze di ciascun alunno diviso il numero totale degli alunni.

Mediana:Valore centrale di una distribuzione sopra il quale e sotto il quale ricade la metà dei casi. Ad esempio la mediana dell'altezza degli alunni di una classe è quel valore dell'altezza al di sopra e al di sotto del quale si troverà il 50% dei valori delle altezza degli alunni.

Moda:Valore che ricorre più frequentemente in una variabile. Se esistono valori pari merito viene considerato come Moda il valore più basso. Nell'esempio considerato la moda è l'altezza che ricorre più frequentemente tra gli alunni della classe.

Minimo:Valore più basso ottenuto per una variabile. Nell'esempio considerato il minimo corrisponde all'altezza minore riscontrata tra gli alunni della classe.

Massimo:Valore più alto ottenuto per una variabile. Nell'esempio considerato il massimo corrisponde all'altezza maggiore riscontrata tra gli alunni della classe.

Deviazione Standard:È la misura della dispersione dei valori intorno alla Media. Un basso valore della deviazione standard indica che i valori assunti dalla variabile sono concentrati intorno alla media ed esprime omogeneità di dati. Al contrario, un alto valore della deviazione standard indica che i valori assunti dalla variabile si discostano molto dalla media ed esprime disomogeneità di dati. Nell'esempio considerato se l'altezza media di una classe è di 170cm si ha un'alto valore della deviazione standard se l'altezza dei singoli alunni si discosta molto dal valore dell'altezza media, quindi troveremo alunni alti 195cm, oppure 150cm. Al contrario si ha un basso valore della deviazione standard se le altezze dei singoli alunni si avvicinano al valore dell'altezza media, quindi avremo alunni alti 175cm oppure 165cm.

Page 3: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

Leggenda per la lettura dei dati

INValSI - Sicotem © 1996/2004 - Work in progress - Updated version, 17.10.2005 11.25

Legenda e istruzioni per la lettura dei dati Media:

Media aritmetica, valore centrale di una distribuzione somma di tutti i valori di una distribuzione divisa per il numero dei casi. Ad esempio l'altezza media degli alunni di una classe è data dalla somma delle altezze di ciascun alunno diviso il numero totale degli alunni.

Mediana:Valore centrale di una distribuzione sopra il quale e sotto il quale ricade la metà dei casi. Ad esempio la mediana dell'altezza degli alunni di una classe è quel valore dell'altezza al di sopra e al di sotto del quale si troverà il 50% dei valori delle altezza degli alunni.

Moda:Valore che ricorre più frequentemente in una variabile. Se esistono valori pari merito viene considerato come Moda il valore più basso. Nell'esempio considerato la moda è l'altezza che ricorre più frequentemente tra gli alunni della classe.

Minimo:Valore più basso ottenuto per una variabile. Nell'esempio considerato il minimo corrisponde all'altezza minore riscontrata tra gli alunni della classe.

Massimo:Valore più alto ottenuto per una variabile. Nell'esempio considerato il massimo corrisponde all'altezza maggiore riscontrata tra gli alunni della classe.

Deviazione Standard:È la misura della dispersione dei valori intorno alla Media. Un basso valore della deviazione standard indica che i valori assunti dalla variabile sono concentrati intorno alla media ed esprime omogeneità di dati. Al contrario, un alto valore della deviazione standard indica che i valori assunti dalla variabile si discostano molto dalla media ed esprime disomogeneità di dati. Nell'esempio considerato se l'altezza media di una classe è di 170cm si ha un'alto valore della deviazione standard se l'altezza dei singoli alunni si discosta molto dal valore dell'altezza media, quindi troveremo alunni alti 195cm, oppure 150cm. Al contrario si ha un basso valore della deviazione standard se le altezze dei singoli alunni si avvicinano al valore dell'altezza media, quindi avremo alunni alti 175cm oppure 165cm.

Errore standard:Indica il campo di variazione di una costante statistica (Media, Mediana, Moda, Deviazione Standard etc) che si ottiene riportand il valore della costante statistica rilevato nel campione all'universo di riferimento. Viene calcolato misurando di quanto il valore della costante statistica presa in esame può variare tra campioni presi dalla stessa distribuzione. Nell'esempio considerato se la classe presa in considerazione è un campione rappresentativo dell'intera scuola, conoscendo la media dell'altezza della classe è possibile conoscere la media l'altezza della scuola con una determinata percentuale di errore (errore standard), quindi se la media delle altezze della classe è 170cm e l'errore standard è del 5%, la media della scuola sarà un valore che oscilla tra 178,5cm e 161,5cm.

Quartile:Si definiscono quartili e si indicano con Q1 Q2 e Q3 i tre valori che dividono una distribuzione dei casi in quattro parti uguali. Il primo 25 % dei dati della distribuzione ha come limite superiore il primo quartile, il 50% dei dati hanno come limite il secondo quartile (che e' anche la mediana), e cosi' via.

Fasce:Divisione di una distribuzione in intervalli rispetto ai punteggi ottenuti.Bassa: da 0 al primo Quartile incluso;Medio-bassa: dal primo Quartile escluso al secondo Quartile incluso;Medio-alta: dal secondo Quartile escluso al terzo Quartile incluso;Alta: dal terzo Quartile escluso al Punteggio massimo 100 incluso;Top (Fascia di eccellenza):dal novantesimo percentile incluso al Punt.o massimo 100 incluso.

Percentile:Si definiscono percentili e si indicano con P1 P2, P3 ... P99 i novantanove valori che dividono una distribuzione dei casi in cento parti uguali. Il primo 5 % dei dati della distribuzione ha come limite superiore il percentile P5, il 50% dei dati hanno come limite il percentile P50 (che e' anche la mediana), e cosi' via.

Punteggi normalizzati:Un punteggio è normalizzato quando si esprimono i risultati in centesimi. Ad esempio se in un test composto da 20 domande vengono date 15 risposte corrette, in media si è risposto correttamente ai 3/4 delle domande, il dato che si troverà è i 3/4 di 100, ossia 75%.

Punteggi = ' - 'Il punteggio non è calcolato per mancanza di casi

Attenzione:Relativamente ai riferimenti per regione si rammenta che, per il Trentino-Alto Adige provincia di Bolzano, i valori riportati comprendono tutti e tre i gruppi linguistici (italiano, ladino, tedesco)

Page 4: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

  Media

Deviazione

Standard

Pm

P MaxModa

Mediana

MILANO 86,01 15,51 0 100 100 92,86

Lombardia 85,71 15,58 0 100 100 92,86

Nord Ovest 86,04 15,58 0 100 100 92,86

N0RD EST

CENTRO

86,48

87,68

15,25

15,26

100

100

100

100

92,86

92,86

SUD E ISOLE

TOTALE

88,33

87,62

15,96

15,29

0

0

100

100

100

100

92,86

92,86

Punteggi ottenuti dagli studenti

I

T

A

L

I

A

N

O

0

0

Page 5: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

  Media

Deviazione

Standard

Pm

P MaxModa

Mediana

MILANO 67,60 21,16 0 100 81,25 68,75

Lombardia 66,81 21,37 0 100 81,25 68,75

Nord Ovest 68,73 21,28 0 100 81,25 68,75

NORD EST

CENTRO

71,10

74,86

20,34

20,09

0

0

100

100

87,50

93,75

75,00

81,25

SUD E ISOLE

TOTALI

78,48

74,34

20,70

20,89

0

0

100

100

100

100

87,50

81,25

Punteggi ottenuti dagli studenti

M

A

T

E

M

A

T

I

C

A

Page 6: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

  Media

Deviazione

Standard

Pm

P MaxModa

Mediana

MILANO 70,26 21,65 0 100 80 80

Lombardia 69,87 21,51 0 100 80 70

Nord Ovest 70,99 21,61 0 100 80 70

NORD EST

CENTRO

71,59

75,84

21,37

21,36

0

0

100

100

80

100

80

70

SUD E ISOLE

TOTALI

80,61

75,89

20,98

21,58

0

0

100

100

100

100

90

80

Punteggi ottenuti dagli studenti

S

C

I

E

N

Z

E

Page 7: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

  Media

Deviazione

Standard

Pm

P MaxModa

Mediana

MILANO 61,17 18,41 0 100 60 63,33

LOMBARDIA 60,77 18,41 0 100 70 63,33

Nord OVEST 61,93 18,68 0 100 70 63,33

NORD EST

CENTRO

63,25

65,36

18,56

19,07

0

0

100

100

73,33

73,33

63,33

66,63

SUD E ISOLE

TOTALI

66,95

65,23

20,88

19,51

0

0

100

100

90

76,67

70

66,67

Punteggi ottenuti dagli studenti

I

T

A

L

I

A

N

O

Page 8: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

  Media

Deviazione

Standard

Pm

P MaxModa

Mediana

MILANO 65,63 18,90 0 100 67,86 67,86

Lombardia 65,76 18,90 0 100 67,86 67,86

Nord Ovest 67,07 19,14 0 100 67,86 67.86

NORD EST

CENTRO

67,74

71,51

19,06

19,58

0

0

100

100

75,00

85,71

67,86

75,00

SUD E ISOLE

TOTALI

75,03

71,82

20,80

20,01

0

0

100

100

96,43

86,43

78,57

75,00

Punteggi ottenuti dagli studenti

M

A

T

E

M

A

T

I

C

A

Page 9: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

  Media

Deviazione

Standard

Pm

P MaxModa

Mediana

MILANO 71,05 17,30 0 100 78,57 75,00

Lombardia 70,91 17,37 0 100 78,57 71,43

Nord Ovest 72,35 17,48 0 100 78,57 75,00

NORD EST

CENTRO

73,38

76,16

17,10

17,74

0

0

100

100

78,57

96,43

75,00

78,57

SUD E ISOLE

TOTALI

79,54

76,59

18,91

18,08

0

0

100

100

100

100

85,71

78,57

Punteggi ottenuti dagli studenti

S

C

I

E

N

Z

E

Page 10: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

  Media

Deviazione

Standard

Pm

P MaxModa

Mediana

MILANO 59,42 17,75 0 100 66,67 60

Lombardia 59,50 17,56 0 100 66,67 60

Nord Ovest 59,41 17,71 0 100 66,67 60

NORD EST

CENTRO

59,61

59,54

17,41

18,04

0

0

100

100

66,67

66,67

60

60

SUD E ISOLE

TOTALI

54,61

58,05

19,73

18,57

0

0

100

100

63,33

66,67

56,67

60

Punteggi ottenuti dagli studenti

I

T

A

L

I

A

N

O

Page 11: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

  Media

Deviazione

Standard

Pm

P MaxModa

Mediana

MILANO 60,00 17,53 0 100 60,71 60,71

Lombardia 60.54 17,56 0 100 60,71 60,71

Nord Ovest 60,45 17,71 0 100 60,71 60,71

NORD EST

CENTRO

60,98

60,81

17,54

17,99

0

0

100

100

64,29

6071

60,71

60,71

SUD E ISOLE

TOTALI

57.59

60,04

19,33

18,40

0

0

100

100

57,14

60,71

57,14

60,71

Punteggi ottenuti dagli studenti

M

A

T

E

M

A

T

I

C

A

Page 12: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

  Media

Deviazione

Standard

Pm

P MaxModa

Mediana

MILANO 71,18 16,43 0 100 82,14 75.00

Lombardia 71,47 16,31 0 100 82,14 75,00

Nord Ovest 71,44 16,49 0 100 84,14 75,00

NORD EST

CENTRO

72,33

71,56

16,17

16,71

0

0

100

100

82,14

78,57

75,00

75,00

SUD E ISOLE

TOTALI

68,78

70,67

18,82

17,28

0

0

100

100

82,14

82,14

71,43

75.00

Punteggi ottenuti dagli studenti

S

C

I

E

N

Z

E

Page 13: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

ScienzeII pr. IV pr. I sec. II pr. IV pr. I sec. II pr. I sec.

Bergamo 85,08 59,53 60,46 65,11 64,57 62,85 67,58 62,4Brescia 84,79 59,68 58,61 65,64 65,37 59,9 68,96 56,72Como 86,59 62,24 60,79 67,47 67,24 61,39 71,27 59,21

Cremona 85,5 58,84 57,93 66,59 66,59  58,87 71,8 55,57Lecco 86,73 62,93 62,58 68,13 67,2 64,46 71,42 62,2Lodi 85,31 60,93 58,77 66,36 66,13  58,99 69,73 61,28

Mantova 84,26 57,52  57,33 62,82 64,02 58,52 68,92 57,74Milano 86,01 61,17 59,42 67,6 65,63  60 70,26 59,72Pavia 86,83 63,11  58,55 69,02 68,09 59,57 72,73 58,67

Sondrio 86,37 62,39 61,37 66,11 68,18  64,79 68,74 60,27Varese 85,59 60,96 59,62 67,17 65,44 60,14 69,41 58,84

Lombardia 85,71 60,77 59,5 66,81 65,76  60,54 69,87 59,57Nord Ovest 86,04 61,93 59,41 79,03 67,07 60,45 70,99 62,05 (0,59)Nord Est 86,48 63,25 59,61 68,73 67,74  60,98 71,59 63,11 (1,35)Centro 87,68 65,36 59,54 71,1 71,51 60,81 75,84 57,08 (1,54)Sud 89,57 68,46 57,43 74,86 77,03  60,43 81,36 58,44 (2,01)

Sud e Isole 88,33 66,93 54,61 79,07 75,03 57,59 80,61 56,20 (0,87)Totale Italia  87,62 65,23 58,05 78,48 71,82 60,04 75,89 59,31 (0,63)

Punteggi normalizzati per le classi seconde e quarte e I media

PROVINCE

Italiano Matematica

Page 14: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

I sup III sup I sup III sup I sup III sup

Bergamo 61,84 53,9 62,85 57,92 62,4 72,85Brescia 57,46 50,29 59,9 56,89 56,72 70,35Como 62,89 54,58 61,39 56,82 59,21 73,08

Cremona 54,80 48,83 58,87 53,69 55,57 70,72Lecco 64,77 56,53 64,46 62,94 62,2 75,24Lodi 63,46 56,01 58,99 61,82 61,28 69,83

Mantova 59,37 51,79 58,52 55,63 57,74 69,31Milano 62,31 55,23 60 54,6 59,72 71,18Pavia 59,76 52,66 59,57 54,44 58,67 70,96

Sondrio 59,45 52,54 64,79 56,85 60,27 73,73Varese 59,11 53,73 60,14 54,87 58,84 71,48

Lombardia 61,03 53,83 60,54 56,1 59,57 71,47Nord Ovest 62,97(0,67) 53,83 60,45 55,52 62,05 (0,59) 71,44Nord Est 61,81 (1,41) 53,83 60,98 56,02 63,11 (1,35) 72,33Centro 56,88 (2,15) 53,83 60,81 53,61 57,08 (1,54) 71,56Sud 58,69 (1,42) 53,83 60,43 54,24 58,44 (2,01) 69,72

Sud e Isole 60,40 (1,41) 53,83 57,59 54,22 56,20 (0,87) 68,78Totale Italia  60,13 (0,58) 53,83 60,04 54,81 59,31 (0,63) 70,67

PROVINCE

Italiano Matematica Scienze

PUNTEGGI NORMALIZZATI PER LE CLASSI PRIME E TERZE SUPERIORI

Page 15: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

L’importanza di Item analysis:

L’analisi degli item permette did misurare la qualità e l’idoneità delle domande somminstrate fornendo il modo di verificare se esse sono appropriate per i candidati nella misurazione delle competenze e abilità.

Permette il riutilizzo degli item in situazioni dove la performance dei test si conosce a priori

Page 16: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

La procedura di raccolta dati la somministrazione e la raccolta delle risposte

può essere compiuta con i prodotti statistici

Quando le risposte alle domande a scelta multipla sono conteggiate i risultati con le chiavi di risposta esse possono costituire la base di un’analisi ..

Si deve procedere con la registrazione di risposta “1” (corretto) e “0” (sbagliato) per ogni singolo partecipante. Inoltre, il punteggio degli studenti per ogni item (percentuale delle risposte corrette) viene registrato in un tabulato.

Page 17: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

Comprensione dei dati E’ importante notare che tre tipi di informazioni sono

critici nella comprensione di un esame a scelta multipla: se gli item sono stati troppo difficili o troppo facili; se gli item hanno fatto la differenza tra quegli studenti che

veramente conoscevano il materiale e quelli che non lo conoscevano;

Se le risposte non corrette in effetti “distraggono” dalla risposta corretta o se invece non hanno alcuna influenza.

Si farà riferimento ad alcuni termini in questa guida. Essi comprendono:

Il fattore Difficoltà L’Indice di Discriminazione I Coefficienti di Affidabilità Kuder Richardson Ponderazione della Domanda Differenziate La Deviazione Minima, Media e varianza.

Page 18: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

Il fattore della difficoltà

Il Fattore della Difficoltà di una domanda è dato dalla proporzione dei rispondenti selezionando la risposta giusta a quella domanda. E’ una misura di quanto sia stato difficile rispondere alla domanda.

La formula seguente è usata per calcolare questo fattore. D= c/n D – Fattore di Difficoltà c – Numero di risposte corrette n – numero dei rispondenti Più è alto il Fattore di Difficoltà più la domanda è facile. Un valore di 1.0 significa che tutti gli studenti hanno risposto e

la domanda può essere facile. La gamma di Difficoltà degli item su un buon test dipende da cosa si desidera conoscere. Se lo scopo di un test è di determinare se gli studenti hanno padroneggiato un’area topica, ci si dovrebbero aspettare dei valori di alta difficoltà. Se lo scopo del test è di discriminare tra diversi livelli di profitto (rendimento) , gli item con valori di difficoltà tra 0,3 e 0,7 sono più efficaci. Il livello ottimale dovrebbe essere 0,5.

Page 19: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

L’indice di Discriminazione L’indice di Discriminazione misura il limite al quale le riposte agli

item possono discriminare tra gli individui che hanno un punteggio alto nel test e quelli che ottengono un punteggio basso. Questo è calcolato per ogni risposta. Il valore è calcolato con la seguente formula.

DI=(a-b) / n DI – Indice di Discriminazione a – Frequenza di risposta di un quartile elevato (75mo dato

percentile) b – Frequenza di risposta di un quartile basso (25mo dato percentile

e sotto) n – numero di rispondenti in un quartile elevato (75mo dato

percentile e oltre) Un valore negativo significa che gli studenti che ottengono un

punteggio basso tendevano a selezionare l’opzione più degli studenti con punteggio più alto. Al contrario, un valore positivo di questo indice significa che gli studenti con punteggio più alto tendevano a selezionare la risposta più spesso. Idealmente, la risposta corretta dovrebbe averne uno positivo. Un valore di 0,0 indica che non c’è differenza tra i due gruppi. La difficoltà di un item può influire sull’indice di discriminazione. Gli item che sono molto facili o molto difficili non ci fanno distinguere molto bene tra gruppi di alto e basso punteggio

Page 20: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

L’indice di Discriminazione Su questi item, quasi tutti avranno

ottenuto l’item giusto o sbagliato indipendentemente da come essi hanno risposto agli altri item del test. Gli item che mostrano meglio la differenza sono quelli che hanno una difficoltà tra 0,3 e 0,7. Il valore dovrebbe essere in direzione positiva per la corretta risposta e una direzione negativa per una risposta non corretta. Se una risposta ha un valore zero la riposta dovrebbe essere eliminata come scelta.

Page 21: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

Indici di Kuder Richardson 20

Questa statistica misura l’affidabilità di un test di consistenza inter-item. Un valore più alto indica una relazione forte tra item sul test.

Il KR20 è calcolato come segue: N V – SUM (pi qi) KR= --- * ---------------- N-1 V KR – Kuder Richardson 20 N - Numero di item nel test V - Variazione del punteggio rozzo o deviazione standard elevata al

quadrato pi - proporzione di riposte corrette alla domanda i, o (numero di riposte

corrette/numero totale di risposte) qi - proporzione di risposte non corrette alla domanda i, o (i-p) Un valore basso indica una relazione debole tra gli item del test. La

gamma dei valori da 0 a 1. I test migliori sono all’interno di una gamma che va da .80 a .85.

Kunder Richardson 20 sarà sempre maggiore o uguale del Kuder Richardson 21.

E’ considerato più accurato del Kuder Richardson 21.

Page 22: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

Indice di Kuder Richardson 21

Questa statistica fa un calcolo approssimativo della consistenza inter-item.

Un valore alto indica una forte relazione tra gli item e un valore basso una relazione più debole. Il mezzo del punteggio medio dell’esame è parte della formula. I valori vanno anche da 0 a 1.

La formula è calcolata come segue: N 1-(M(N-M) KR= ---- * ------------- N-1 N*V KR – Kuder Richardson 21 N - Numero di item nel test M - Mezzo aritmetico dei punteggi del test V - Variazione dei punteggi rozzi o variazione standard

elevata al quadrato Meglio che i test medi abbiano un valore leggermente più

basso del KR20.

Page 23: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

Ponderazione della domanda da differenziare

Un esempio del sistema di ponderazione differenziale potrebbe essere di dare due punti di credito ad alcune domande perché sono molto più difficili o più importanti e un punto di credito ad altre. Le ragioni per cui non usare questo sistema comprendono:

Non c’è aumento nell’affidabilità quando si usano ponderazioni differenziali

ponderazione differenziale è più efficacie solo nei test brevi (meno di dieci item)

Altri Termini per comprendere quando le relazioni Punteggio della media - Punteggio della mediana - il punteggio corrisponde al dato

percentile 50mo . Esattamente metà dei punteggi sono più bassi e metà dei più alti. Deviazione standard - la gamma al di sopra o al di sotto il

punteggio medio dove la maggioranza dei punteggi mente. Più sono ampi i punteggi, più lo sarà anche la deviazione standard.

Page 24: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

Altri item statistici importanti Idealmente, si dovrebbe volere la “correttezza”

di un particolare item in un test in modo tale da associarlo con un punteggio globale (percentuale di tutti gli item a cui si è risposto correttamente).

Preso da un angolo diverso, si potrebbero preferire item di test con “risposte frequentemente corrette” da studenti che hanno fatto globalmente bene nel test. Questa associazione tra item di test individuali e performance di test globali è chiamata la correlazione biseriale. Una correlazione più utile è l’esecuzione stimata globale del test ad esclusione dell’ item di test particolare in questione. Questa misura è chiamata la correlazione corretta del punto biseriale di un item di test .

Page 25: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

L’indice Alpha di Cronbach La statistica fornisce una misurazione di consistenza interna

(affidabilità) di item di test chiamati alpha di Cronbach. Più alta è la correlazione tra gli item, più grande è l’alpha. Alte

correlazioni implicano che alti (o bassi) punteggi di una domanda sono associati con alti (o bassi) punteggi su altre domande. Alpha può variare da 0 a 1, indicando che il test è perfettamente affidabile.

Inoltre, la computazione dell’ Alpha di Cronbach quando un item particolare è rimosso dalla considerazione è una buona misura del contributo di quell’item all’esecuzione della valutazione dell’intero test.

Altre statistiche sono automaticamente generate usando una procedura chiamata Affidabilità (Reliability) (nel risultato, la scala di termine si riferisce alla collezione di tutti gli item di test).

Page 26: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

L’indice Alpha di Cronbach (Classe 2° Primaria: Italiano, Matematica e Scienze- rif.

Diap 33,34,35). Notate la “Correlazione corretta del totale dell’item”.

Questa colonna mostra la correlazione del punto biseriale corretta.

Potete vedere che le domande sembrano correlate con l’esecuzione del test generale. Da notare che la domanda 7(it) ha una correlazione negativa con il resto degli items. D’altra parte, gli studenti che tendono ad andare male nei test generalmente tendono a rispondere a questa domanda correttamente. Questo non è un risultato desiderato. Notate il valore di alpha nella colonna intitolata “Alpha se Item è eliminato”. Se la domanda 7(it) è eliminata dalla tabella, la statistica Alpha sale a 0.9091, con questa prospettiva, la domanda 7 ha bisogno di essere esaminata criticamente e forse riscritta.

Page 27: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

Reliability of items in relation con "prova di italiano” – classi seconde

Administrator:Click su collegamento ipertestuale

Per tornare alla pagina successiva della presentazione chiudere l’explorer

Administrator:Click su collegamento ipertestuale

Per tornare alla pagina successiva della presentazione chiudere l’explorer

Page 28: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

Reliability of items in relation con "prova di matematica” – classi seconde

Administrator:Click su collegamento ipertestuale

Per tornare alla pagina successiva della presentazione chiudere l’explorer

Administrator:Click su collegamento ipertestuale

Per tornare alla pagina successiva della presentazione chiudere l’explorer

Page 29: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

Reliability of items in relation con "prova di scienze”- classi seconde

Administrator:Click su collegamento ipertestuale

Per tornare alla pagina successiva della presentazione chiudere l’explorer

Administrator:Click su collegamento ipertestuale

Per tornare alla pagina successiva della presentazione chiudere l’explorer

Page 30: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

Analisi delle risposte errate

In una domanda a scelta multipla, le scelte sbagliate sono chiamate “distracters” (“risposte errate”). Quando create le domande dei test, dovete considerare:

Una percentuale di studenti dovrebbe selezionare ogni distrattore (risposta errata) (al posto della risposta giusta) o il distrattore non è efficiente.

Se una percentuale troppo grande di studenti seleziona un particolare distrattore , ci potrebbe essere un’ambiguità nella formulazione della domanda o nella formulazione di un particolare distrattore.

Un distracttore ha valore se la percentuale di studenti che lo seleziona si differenzia a seconda della loro produzione globale del test.

Un buon distrattore è quello che è selezionato da pochi studenti che erano nel terzo gruppo di alto livello della classe, ma scelto da molti studenti nel terzo gruppo di basso livello.

Page 31: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

conclusione L’analisi degli item è una serie di procedure

disponibili estremamente utile ai professionisti dell’insegnamento. SPSS è uno degli strumenti di statistica potente per misurare l’analisi degli item e un modo ideale per gli educatori per creare, valutare e validare i test di apprendimento somministrate alle classi. L’analisi degli item permette agli istruttori di migliorare gli esercizi in classe e agli esecutori dei test di migliorare i loro esami.

Page 32: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

Fine lavoro

Page 33: Item Analysis: Valutazione di affidabilità dei test: Rilevazione Nazionale del SIF Z. Adam Gruppo del supporto regionale Per la valutazione 15 Dicembre

Bibliografia Dati della Lombardia INValSI -RNSIF-as 2004/2005 Quantitative data analysis with SPSS di Alan Bryman,D. Cramer2003 Data Analysis Using SPSS-Beginner’s Guide J. Foster 1999 Adventures in Social Research:Data Analysis using SPSS di Earl Babbie , Fred Halley, J. Zaino 2003 Common Analysis of Repeated Measures: M. J. Crowder 1990 Common Correlation and Reliability Analysis with SPSS di R. A. Yaffee