Upload
italia-de-rosa
View
215
Download
0
Embed Size (px)
Citation preview
Caratteristiche psicometriche dei test
Caratteristiche psicometriche dei test
Validità Attendibilità Analisi degli items
Teorie e tecniche dei test- 2003 Prof. Paola Gremigni
ValiditàValidità
Teoria
Costrutto
Operazionalizzazione
Osservazione
Validità esternageneralizzabilità delle conclusioni
Validità internalegame causale tra osservazioni e
intervento
Validità di costruttoho osservato ciò che volevo osservare
Intervento
Validità esternaValidità esterna
Si riferisce alla verità approssimata di proposizioni, inferenze e conclusioni
Coinvolge la generalizzabilità.
E’ il grado in cui le conclusioni dello studio possono essere considerate valide per altre persone in altre situazioni e in altri momenti
Validità interna –1 Validità interna –1
Si riferisce alla verità approssimata di inferenze che riguardano relazioni causali ossia relazioni causa - effetto
E’ rilevante solo in studi che cercano di dimostrare un legame causale (es. valutazione dell’effetto di un intervento terapeutico, educativo ecc.)
In tali contesti vogliamo concludere che gli effetti o cambiamenti osservati sono attribuibili all’intervento
(causa) e non ad altre possibili cause
Validità interna – 2 Validità interna – 2
Possiamo pensare alla validità interna come a un concetto di “zero generalizzabilità”
La validità interna significa che abbiamo evidenze del fatto che ciò che abbiamo fatto nello studio (intervento) ha causato ciò che abbiamo osservato succedere (outcome)
Non dice che ciò che abbiamo fatto e osservato era ciò che volevamo fare o osservare (validità di costrutto)
Validità di costruttoValidità di costrutto
CostruttoUn costrutto psicologico è un’idea teorica elaborata per spiegare e organizzare alcuni aspetti delle conoscenze esistenti (APA, 1974)
I costrutti vengono formulati derivandoli da teorie psicologiche o da osservazioni empiriche
Validità di costrutto o Validità rispetto alla funzione
Validità di costrutto o Validità rispetto alla funzione
Qui il concetto di validità di costrutto viene usato per identificare la validità di ogni operazionalizzazione
Ogni volta che traduciamo un costrutto in una funzione o realtà operativa dobbiamo interrogarci su “quanto bene” abbiamo fatto questa traduzione
Trochim W. (2000). The Research Methods Knowledge Base. Atomic Dog Pub., Cincinnati, OH
La validità di costrutto è la verità approssimata della conclusione che l’operazionalizzazione fatta riflette accuratamente il costrutto su cui si basa
Idea della Validità di costruttoIdea della Validità di costrutto
Teoria Cosa abbiamo in mente
Costrutto
Programma di misurazione
Osservazioni Cosa vediamo
Procedure di osservazione
Una definizione concettuale precisa di cosa abbiamo in mente
Idea della Validità di costruttoIdea della Validità di costrutto
La validità di costrutto è una misura (assessment) di “quanto bene” abbiamo tradotto le nostre idee (teoria) in concetti precisi (costrutto) e in programmi di misura (procedure di misurazione)
Il suo scopo è evitare gli errori di etichettamento (labeling) dei costrutti e di interpretazione dei risultati delle ricerche
Apertura
Espressione del sé
Fornire evidenze che i dati sostengono la visione teorica delle relazioni fra costrutti simili
Definire il costrutto che vogliamo operazionalizzare all’interno di una rete di significati (semantica) ossia dire a cosa è più o meno simile come significato
Fiducia in sé
Valore del sé
Criteri per la Validità di costruttoCriteri per la Validità di costrutto
Fornire evidenze dirette che l’operazionalizzazione del costrutto è sotto il nostro controllo
Autostima
Esempio
Tipi di Validità di costruttoTipi di Validità di costrutto
Validità dell’ operazionalizzazione*1. Validità di facciata2. Validità di contenuto3. Validità strutturale
Validità in relazione a un criterio1. Validità predittiva2. Validità concorrente3. Validità congruente4. Validità convergente / divergente5. Validità discriminante / differenziale
* Trochim (2000): Validità di traduzione (Translation Validity)
Validità dell’ operazionalizzazioneValidità dell’ operazionalizzazione
La validità dell’operazionalizzazione verifica se l’operazionalizzazione è una buona traduzione del costrutto
L’approccio è legato al processo di definizione
Assumiamo di avere una definizione ben dettagliata del costrutto e verifichiamo l’operazionalizzazione rispetto ad esso
Validità in relazione ad un criterioValidità in relazione ad un criterio
La validità in relazione a un criterio verifica se l’operazionalizzazione si comporta come dovrebbe, data la teoria del costrutto prescelta
L’approccio è di tipo relazionale
Assumiamo che l’operazionalizzazione debba funzionare in modo prevedibile in relazione ad altre operazionalizzazioni basate sulla teoria del costrutto prescelta
Tipi di Validità di costruttoTipi di Validità di costrutto
Validità dell’ operazionalizzazione1. Validità di facciata2. Validità di contenuto3. Validità strutturale
Validità in relazione a un criterio
Validità dell’ operazionalizzazioneValidità dell’ operazionalizzazione
1 - Validità di facciata
L’operazionalizzazione appare come una buona traduzione del costrutto.
Si può rendere più sistematica usando un campione selezionato di giudici esperti che ne valutano l’appropriatezza.
Validità dell’ operazionalizzazioneValidità dell’ operazionalizzazione
2 - Validità di contenuto L’operazionalizzazione viene valutata rispetto a
domini di contenuto rilevanti del costrutto. L’insieme degli items che compongono la scala è necessario e sufficiente a evidenziare il costrutto scelto.
Il criterio di valutazione è il costrutto stesso. Occorre verificare la campionatura degli items, la
proporzione per area e l’accordo fra esperti sulla rappresentatività degli items.
Validità dell’ operazionalizzazioneValidità dell’ operazionalizzazione
3 - Validità strutturale Grado in cui il test misura una struttura
teorica o un tratto. Metodo dell’analisi fattoriale
Metodo dell’analisi fattorialeMetodo dell’analisi fattoriale
Dato un insieme di misure, l’analisi fattoriale si propone di verificare se tutte misurano sostanzialmente la stessa variabile psicologica o se invece ne misurano aspetti diversi identificabili con sottogruppi di misure
Boncori L. Teorie e tecniche dei test. 1993, Torino: Bollati Boringhieri
Metodo dell’analisi fattoriale - 1Metodo dell’analisi fattoriale - 1
Analisi fattoriale esplorativa
E’ usata a scopo esplorativo per formulare ipotesi
Esempio: metodo delle componenti principali
Si cerca di interpretare i raggruppamenti in modo da fondare un’ipotesi più precisa
Raggruppamenti di variabili
Analisi fattoriale esplorativa
Metodo dell’analisi fattoriale - 2Metodo dell’analisi fattoriale - 2
Analisi fattoriale confermativa
E’ usata a scopo di verifica di un’ipotesi teorica precedentemente definita
Si formula un’ipotesi su come si raggrupperanno le variabili in base alla teoria del costrutto
Si verifica se i risultati
dell’analisi fattoriale sono congruenti con l’ipotesi ossia se la confermano
Tipi di Validità di costruttoTipi di Validità di costrutto
Validità dell’ operazionalizzazione
Validità in relazione a un criterio1. Validità predittiva2. Validità concorrente3. Validità congruente4. Validità convergente / divergente5. Validità discriminante / differenziale
Validità rispetto a un criterioValidità rispetto a un criterio
Valuta la prestazione dell’operazionalizzazione rispetto ad un criterio.
Serve per predire come funzionerà l’operalizzazione in base alla teoria da cui è derivato il costrutto.
La differenza fra vari tipi di validità rispetto a un criterio dipende dal criterio usato come standard per il giudizio.
Tipi di validità di criterio - 1 (Anastasi, 1976)
Tipi di validità di criterio - 1 (Anastasi, 1976)
1 - PredittivaRelazione tra test e criterio (outcome) a distanza di tempo.
Capacità di predire (regressione) qualcosa (criterio-outcome) che il test deve essere in grado di predire secondo la teoria.
2 - ConcorrenteRelazione contestuale tra test e criterio.Correlazione del test con la misurazione simultanea, agli stessi soggetti, di una variabile-criterio.
Criterio
Comportamento importante rispetto alla misura da validare ed esterno ad essa.
Tipi di validità di criterio - 2 Tipi di validità di criterio - 2
4 - Convergente / DivergenteGrado in cui il test correla con altri che misurano costrutti simili e non correla con altri che misurano costrutti diversi.
3 - Congruente
Congruenza (correlazione) tra risultati al test e risultati ad altri
test paralleli che misurano lo stesso costrutto.
ConvergenzaLe misure che devono essere correlate sono in realtà correlate
DivergenzaLe misure che non devono essere correlate non lo sono in realtà
Tipi di validità di criterio - 3Tipi di validità di criterio - 3
5 - Discriminante / Differenziale
Capacità di discriminare fra gruppi contrapposti, che teoricamente dovrebbero avere risultati opposti.
Capacità di differenziare fra gruppi simili, che teoricamente dovrebbero avere risultati diversi.
AttendibilitàAttendibilità Si riferisce alla qualità della
misurazione in termini di stabilità nel tempo e di consistenza interna
Non si può calcolare esattamente, ma solo stimare
Occorre integrare l’attendibilità con la validità
AttendibilitàAttendibilità
Attendibilità test-retest
Attendibilità come coerenza interna
Attendibilità per forme parallele
Attendibilità TEST-RETESTAttendibilità TEST-RETEST
E’ un indicatore della stabilità del test. Si misura correlando i punteggi degli
stessi soggetti allo stesso test ripetuto due volte.
Una buona correlazione si avvicina 1 (0,80) (es. una correlazione di 0,70 indica 49% di concordanza tra i due punteggi)
Errori di misurazioneErrori di misurazione
Condizioni dei soggetti Caratteristiche del test
– Istruzioni scadenti– Codifica soggettiva– Manipolabilità della risposta
Fattori di distorsione– Intervallo di tempo– Livello di difficoltà– Campionamento dei soggetti– Dimensione del campione (almeno 100)
Attendibilità come COERENZA INTERNAAttendibilità come COERENZA INTERNA
Grado in cui tutte le parti del test misurano la stessa variabile.
– Correlazione item-totale
– Omogeneità degli items
– Attendibilità split-half
– Alpha di Cronbach
Correlazione item-totale
Correlazione tra punteggio di ciascun item e punteggio totale al test
Omogeneità degli items
Correlazione media degli item fra loro
Alpha di Cronbach - Formula 20 di Kuder-Richarsdson, KR20
Covarianza media fra gli item
α = k (1 – Σ σ2i)
k-1 σ2t
K = n° item
Σ σ2i = somma varianze item
Σ2t = varianza totale test
Attendibilità split-half
- Divisione del test a metà
-Correlazione delle due metà del test fra loro (item pari – item dispari)
-Legame attendibilità-lunghezza (10 item)
Formula profetica Spearman-Brown
rkk = kr(media) ij 1 + (k – 1) r(media)ij
rkk = attendibilitàK = n° item
r(media) ij = correlazione media fra item
Attendibilità per FORME PARALLELEAttendibilità per FORME PARALLELE
Correlazione tra forme parallele dello stesso test (r = 0,90)
Relazione fra gli items di due test intesi come campioni casuali di uno stesso dominio
Attendibilità - sintesiAttendibilità - sintesi
Test-retest – Correlazione degli item di un test somministrati in
2 occasioni
Coerenza interna– Correlazione degli item all’interno di un test
Forme parallele– Correlazione di 2 campioni di item presi dallo
stesso dominio di item