Definizione criteri generatori Studio prototipico Scelta del formato di risposta Generazione degli...

Definizione criteri generatori

Studio prototipico

Scelta del formato di risposta

Generazione degli item

Scelta del numero di item del test finale

Tipi di item nei test cognitivi

•Item a esclusione•Item analogici•Item a sequenza•Item di vocabolario•Item di abilità spaziale

* Nei test di profitto:•Item a scelta multipla•Item a risposta libera

Tipi di item nei test cognitivi e non cognitivi

•Item vero-falso•Item sì-no

•Item tricotomici•Item con scale di valutazione•Item a risposta libera

Stili di risposta nei test non cognitivi

ACQUIESCENZA: È la tendenza ad approvare gli item quale che sia il loro contenuto o più precisamente:“Uno stile di risposta come una determinata coerenza stilistica derivante dalla forma di risposta richiesta dagli item nei test di personalità” (Cronbach).

Ti piace la musica?

Suoni qualche strumento?

DESIDERABILITÀ SOCIALE: È la tendenza ad aderire agli item quando l’adesione risulti socialmente desiderabile in particolare nei test per la selezione del personale

Sono avaro

Se qualcuno mi chiede di assumermi le mie responsabilità divento ansioso

Chi risparmia guadagna: questo principio andrebbe impresso nella mente di ogni bambino

Questi due stili di risposta diminuiscono l’attendibilità e la

validità di un test

Punto 5Prima somministrazione ad un campione pilota

Naturalmente dipende dall’uso e dalla popolazione a cui è destinato il testStratificato (per età, sesso, classe sociale, residenza geografica, professione)Ampio

Requisiti minimi

5-10 soggetti per item (Bilanciamento per sesso

(idealmente 150 maschi, 150 femmine)

Campione eterogeneo

Punto 6Selezione degli item

Criteri di selezione degli item

A. Item con risposte esatte (dicotomici e politomici trasformati in dicotomici)

• distrib. item dicotomici distrib. binomiale (media Np, varianza Npq)

• Nota bene: Varianza dell’item = pq

Esempio: N=10 e p=q=1\2

media =? varianza=?

•Media==Np 10*1/2=5

•Varianza=2=Npq 10*1/2*1/2=2.5

•DS= =1.6

e se…

•N = 10

Ma ci sono tre alternative di risposta?

•p=1/3•q=2/3

=10*1/3=3.33

2=10*1/3*2/3=…….

Applicazioni della binomiale

• Ad un test composto da 10 item qual è la probabilità che un soggetto abbia risposto a caso?

A caso p = q= 1/2

10C6p6q4

10! (1/2)6(1/6)4

6!(10-6)!

20.5%

Quindi

• L’uso della binomiale può servire per decidere da quale punteggio si devono selezionare i candidati

1. Indice di difficoltà dell’item

Np numero di soggetti che risponde correttamente

Nq numero di soggetti che sbagliaP = Np varia tra 0 e 1

N Massima variabilità .50 p=q Intervallo p di selezione item tra .2 e .8

per capacità discriminativa

esempio

• N=10

• Np=4

• P=4/10=.4

• Nei test a scelta multipla (di solito test di achievement) come in quelli a risposta limitata esiste la possibilità di indovinare la risposta.

Formula per la correzione dei tentativi di indovinare:

χ corretto = χ - W N-1

χ numero di item giustiW numero di item sbagliatiN numero di opzioni all’interno dell’item

esempio

• Multiple choice composto da 60 item

• 5 possibilità di risposta

• 48 corrette-12 errate/5-1• 48-3=45

2. Indice di discriminazione (rapporti tra un singolo item e il punteggio totale)

Si calcola il punteggio totale al testA Soggetti con alto punteggio (70°

percentile)B Soggetti con basso punteggio (30°

percentile)

Proporzione di risposte corrette dei soggetti con alto punteggio meno

prop. di risposte corrette dei soggetti con basso punteggio

• D = p (A) – P(B)• Valori di D fra +1 e –1>.30 discrimina in maniera efficace

esempio

• 10/100 – 30/100.10-.30=-.20

• 40/100 – 10/100.40 - .10=.30

3. Correlazione fra l’item dicotomico e il punteggio totale del test

• Coefficiente di correlazione punto-biseriale > .30

b. item senza risposte esatte (test di personalità)

•Distribuzione normale•Dispersione dei punteggi•Correlazione tra item e punteggio

totale (>.30)

Scala Likert a 7 punti

• Media 4• Si calcola la DS su un campione

pilota

•Intervallo di fiducia 1,5 D.S. dal valore medio teorico

•XT-1.5sT<Xi<XT+1.5sT

•Asimmetria della distribuzione•Curtosi della distribuzione

Calcolare

• Media 4• DS 1

•XT-1.5sT<Xi<XT+1.5sT

Selezioneremo item con media compresa tra........

L’intervallo di fiducia

• Dato un campione di n=50 soggetti con media X (media di uno dei possibili campioni n=50 e quindi distribuita normalmente)

x X

Quale rischio si accetta di correre nel dichiarare che costruendo un intervallo intorno al parametro X media del campione (uno dei possibili campioni n=50 estratto da quella popolazione) questo riesca ad includere la media campionaria delle medie x e quindi la media della popolazione

•Rischio del 5%si ha una fiducia al 95% che l’intervallo contenga x e quindi

Intervallo di fiducia al 95%

= .05 IL RISCHIO /2 = .025 su una sola coda• Metà tavola .5• .5-.025 = .4750

• Z = +-1.96 (area .4750 in metà tavola)

La formula

X-zx x X+zx

•Di solito non si conosce della popolazione ma la s (DS) del campione

• x = s/(n-1)

quindi

•n = 50•X = 19•s = 1.8

• ……..

•19 – 1.96 *(1.8/ 50-1) =•19 – 1.96*.26 = 19 - .51 = 18.49 (limite inferiore)

•Limite superiore = 19.51

Intervallo di fiducia

18.49 x 19.51

Si ha una probabilità del 95% che l’intervallo includa la media della distribuzione campionaria delle medie e quindi la media della popolazione da cui è estratto il campione

La Correlazione

• Un indice numerico che misura il grado con cui una qualunque relazione tra due variabili tende ad essere una relazione funzionale

La correlazione lineare

• I punti che rappresentano graficamente la relazione tendono a disporsi lungo una retta

•Y= a+bx con b 0• Correlazione positiva a > 0• Correlazione negativa a < 0

Il coefficiente di correlazione di Pearson

• Variabili x, y continue• Le distribuzioni dei dati delle due

variabili sono normali• Livello della scala: intervallo o

rapporti

Altri indici di correlazione

•Correlazione di Spearman

ranghi+ranghi campioni piccoli N<30 misure di tipo ordinale es. graduatoria Q.I. vs.graduatoria attitudine al comando

Tau di Kendall

ranghi+ranghi

Preferibile al rho di Spearman quando il numero dei casi è inferiore a 10

Correlazione biseriale

• Una delle due variabili è misurata su scala a intervallo e l’altra è una variabile dicotomica

Il coefficiente di correlazione biseriale rb

• Il coefficiente di correlazione biseriale (è una stima della correlazione di Pearson)

continua+continua dicotomizzata es. test di ingresso vs

promossi/bocciati es. test vs età<40 età>40

Il coefficiente di correlazione punto-biseriale rpb

• Il coefficiente di correlazione punto-biseriale(equivalente alla correlazione di Pearson)

Item dicotomici - totale

n.b. la variabile dicotomica può non essere distribuita normalmente

Correlazione tetracorica rt

dicotomica artificiale+dicotomica artificialegrandi campioni N>300distribuzione normale delle variabili

es. artigiani: reddito >30 milioni l’anno reddito<30 milioni l’anno ore di lavoro>8 ore ore di lavoro<8 ore

Coefficiente Phi o Punto tetracorica

vera dicotomia+vera dicotomia si assume che queste categorie

non siano continue

es. item dicotomici o a scelta multipla vs.riuscito/fallito es. sesso vs. mensa si/mensa no

CORRELAZIONE PARZIALE

•r xy.z

•Correlazione tra x e y una volta eliminata l’influenza di z

Esempio

•x test di sviluppo percettivo

•y caratteristiche del disegno infantile

•z età