La valutazione delle competenze linguistiche: concetti modelli metodi

Centro per la valutazione e la Certificazione Linguistica (CVCL)Giuliana Grego Bolli

giuliana.bolli@gmail.com

Spoleto, 27 novembre 2013

Questa presentazione in 4 punti

• Valutazione (linguistica) in prospettiva disciplinare e contesto italiano

• Terminologia di base

• Qualità nella valutazione linguistica

• Preparazione degli insegnanti: se e quanto gli insegnanti di italiano lingua non materna devono essere competenti e preparati in questo specifico settore

• (Metodi)

La Valutazione (non solo linguistica) e il contesto italiano

• Mancanza di una “cultura” della valutazione all’interno del sistema educativo italiano (Valutazione come disciplina e non come parte indefinita e indistinta della competenza ed esperienza dell’insegnante)

• Mancanza diffusa di preparazione specifica, sistematica e professionalizzante degli insegnanti in questo settore

• Discipline pedagogiche (Pedagogia sperimentale)

• INVALSI (valutazione esterna)

Perché? (1)• Ragioni culturali/filosofiche: opposizione fra empirismo

(anglossassone) e neoidealismo (italiano). Il concetto della conoscenza empirica (alla base della ricerca scientifica) non è comune al neoidealismo italiano, che nega sostanzialmente alla scienza valore conoscitivo.

• Ragioni storico-sociali e linguistiche: l’italiano è stato per secoli lingua letteraria colta e non lingua d’uso diffusa fra la popolazione per cui la la ricerca linguistica in Italia ha una grande tradizione storico filologica, piuttosto che applicata.

Perché? (2)

• Nel mondo anglosassone all’interno della Linguistica Applicata si è sviluppato un approccio disciplinare alla Valutazione linguistica (Language Testing) (sotto-disciplina)

• Linguistica applicata, secondo Chris Brumfit (1997):“the theoretical and empirical investigation of real world problems in which language is the central issue”

• Mancanza di una disciplina di riferimento (valutazione linguistica).

Qualche riferimento utile per un primo approccio al Language Testing:

• ILTA (International Language Testing Association): www.ilta.org

• EALTA (European Language Testing Association): www.ealta. eu.org

• ALTE (Association of Language Testers in Europe): www.alte.org

• CVCL (Centro per la Valutazione e le Certificazioni linguistiche – Università per Stranieri di Perugia): www.cvcl.it

• Language Testing• Language Assessment Quarterly• Studies in Language Testing Series• Companion to Language Assessment

Il processo valutativo è di tipo interpretativo/argomentativo

• Partiamo dalla performance (dato) di uno studente in una prova

• Questa performance genera un risultato (punteggio, giudizio, grado, ecc)

• L’interpretazione del risultato e l’uso che ne viene poi fatto (giustificato su basi teoriche e supportato da evidenze empiriche) va al di là del dato (limitato esempio di performance) e si estende a situazioni di uso della lingua nella vita reale

• Si procede quindi per inferenze e deduzioni

Un po’ di terminolgia….verifica, valutazione, test/prova

Teminologia: verifica e valutazione

• Indicano momenti diversi di un processo complessivo: processo valutativo

• Sono spesso usati in modo interscambiabile

• Non c’è valutazione senza verifica, anche se ci può essere verifica senza valutazione

Terminologia: Verifica• L’accertamento sistematico (che segue

principi -norme/standard - sia teorici che di buona prassi condivisi sia dalla comunità scientifica che professionale) ed organizzato delle conoscenze/competenze d’uso/abilità (il cosa) presenti in chi si sottopone alla verifica, vale a dire nei soggetti da valutare (gli studenti/apprendenti)

• Parlare di accertamento sistematico di abilità e competenze significa parlare di metodi (il come)

• I metodi/le tecniche/ i formati, di verifica non sono ‘neutrali’

• Non esistono metodi “buoni” o “cattivi” in assoluto

Terminologia: Valutazione

• Raccolta sistematica di informazioni (in parte - si pensi al contesto scolastico - fornite dalla verifica) per poter esprimere un giudizio o assegnare un punteggio

• In entrambi i casi vengono prese delle decisioni• Valutazione è il momento in cui si prendono

delle decisioni – potere della valutazione –impatto della valutazione

• La valutazione è il più potente strumento di comunicazione didattica

• La valutazione diventa strumento importante in termini di mobilità internazionale e di promozione del pluringuismo

Terminologia: Test o prova standardizzata o esame (singolo momento)

• Nel dizionario della OUP troviamo questa definizione:

• “Un breve esame di conoscenze o abilità, che consiste nel rispondere a determinate domande o nel portare avanti determinate attività”

Secondo un’accezione più tecnica il termine test/prova/esame

• È espressione di un metodo per raccogliere informazioni (legato alla verifica)

• utilizza procedure standard per la sua costruzione• ha come obiettivo accertare conoscenze o abilità• è sempre relativo a ‘qualcosa’ che a seconda delle

circostanze può essere: la storia, la geografia… la competenza linguistica

• questo ‘qualcosa’ deve essere definito e descritto (quanto meno “essere nella mente” di chi costruisce il test)

• Costruire test/prove ci aiuta a riflettere su cosa vogliamo verificare e indirettamente sul nostro stesso insegnamento

Chi è coinvolto nel processo valutativo?

Una lista dei possibili utenti (stakeholders)

Utenti

Insegnanti Studenti Famiglie Istituzioni scolastiche/universitarie Scuole private di lingua Istituzioni governative nazionali ed internazionali Datori di lavoro/Agenzie per l’impiego nazionali ed internazionali/ ordini professionali Ricercatori/mondo accademico Società (es. contesto di immigrazione)

Gli utenti (stakeholders)

coinvolti ci invitano a riflettere sulla responsabilità sociale ed educativa delprocesso valutativo e sulla necessità di una preparazione e formazione professionale di chi prepara test/prove, di chi li amministra e di chi li corregge e valuta – garanzia della qualità della valutazione

Qualità nella valutazione linguistica

L’applicazione di questi concetti al processo di produzione di test linguistici costituisce una garanzia di qualità

• Validità (validity)• Affidabilità (reliability)• Autenticità (authenticity)• Fattibilità (practicality)• Equità (fairness)• Utilità/spendibilità (usefulness)

• Impatto (impact)• Eticità (ethical test use)

Processo di Validazionedi un test

Validità

La Validità riguarda l’interpretazione dei risultati, le inferenze sui risultati (punteggi, gradi, giudizi) e quindi l’uso che viene fatto del test e rappresenta, generalizzando, la vera, più importante qualità di un test

Dalla Validità come concetto teorico e quindi astratto della prospettiva tradizionale si è passati (fine anni ‘80) a parlare di Validazione o meglio di processo di validazione intendendo un’analisi del processo di produzione di un test che fornisca evidenze a supporto delle inferenze sui risultati di un test

Impatto (Impact)L’effetto/le conseguenze generato/e da un test/prova/esame, sia sull’insegnamento (aspetto educativo-backwash effect), sia sui singoli individui, sia sulla società (aspetto sociale-washback effect). Le conseguenze possono essere sia positive sia negative.

Si può parlare di impatto a livello micro (l’individuo) e a livello macro (educazione e società) Sono stati condotti molti studi e ricerche sull’impattoIl concetto di impatto è considerato parte del macro-concetto di validità

Eticità

I test linguistici non vengono prodotti e soprattutto usati nel vuoto ma all’interno del sistema educativo e della società.Questo li pone a rischio di usi politici e anche di potenziali abusi sulla base del loro potere decisionale e discriminatorio L’unica risposta possibile a questo concreto ed attuale rischio è la professionalità di chi produce, amministra e valuta partendo dalla formazione dei language testers e dal rispetto di codici etici elaborati dalle società scientifiche (ILTA, EALTA)

Cosa fa di un test linguistico (valutazione sommativa) un “buon” test linguistico? (test “interni” o “esterni” ma sempre all’interno di un dato sistema educativo)

deve tenere presenti programmi e obiettivi di apprendimento/insegnamento deve integrarsi con l’approccio all’insegnamento sia per i contenuti che per i metodi deve avere un contenuto appropriato (caratteristiche dei discenti, livello) deve motivare deve essere tecnicamente ben costruito deve verificare almeno tutte e 4 le abilità di base (valutazione sia formativa sia sommativa) ( ad es. se non verifichiamo la prod. orale, diamo il messaggio che non è ritenuta importante)

Considerazioni finali sulla valutazione e sulla preparazione degli insegnanti: necessaria/non necessaria, fino a che punto….

Gli insegnanti devono essere formati/preparati in valutazione?

• E’ innegabile che la valutazione faccia parte del processo di insegnamento-apprendimento

• Si parla di valutazione come del più importante/efficace strumento di comunicazione didattica

• Cowan (1998) da questa definizione di valutazione: “the engine that drives learning”

• E’ stato dimostrato che un insegnante dedica da un terzo alla metà del suo tempo di lavoro alla valutazione

Vero ma….• Gran parte degli insegnanti si occupa di valutazione

senza aver appreso in modo sistematico i principi di una valutazione consapevole, di qualità e teoricamente fondata

• Questo fenomeno è trasversale vale anche nel mondo anglosassone (Stigging 2007)

Che cosa può significare per un insegnante avere la necessaria preparazione in valutazione?

• Capire come definire chiari obbiettivi di insegnamento/apprendimento

• Capire quali metodi di verifica usare al fine di raccogliere informazioni affidabili sull’apprendimento degli studenti

• Capire come usarli• Capire come comunicare risultati attendibili/significativi

indipendentemente dal modo con cui vengono comunicati: punteggi, gradi, giudizi, ecc

• Capire come usare la valutazione per massimizzare motivazione e apprendimento, coinvolgendo gli studenti nel processo valutativo

Metodi

• Soggettivi

• Oggettivi

• Diretti

• Indiretti

Ci fermiamo qui….

Grazie!

C’è una relazionetra valutazione linguistica e insegnamento?

• “We believe that language testers can serve linguistic theory by examining the way in which their tests work, how their different components interrelate, and what they reveal about candidates’ language proficiency. Insights from such analysis of test results should contribute to the development of a better understanding of what is involved in knowing and using language” (Alderson and Clapham 1992 Applied linguistics and language testing. Applied Linguistics. 13: 164)

• E inoltre innegabile che metodi di verifica possono influenzare l’insegnamento in classe, così come nuove teorie sull’apprendimento/ insegnamento influenzano le pratiche valutative

Utenti “tecnici” vale a dire chi contribuisce alla produzione somministrazione e valutazione di un test o di un esame

Chi produce test/prove (item writers-test producers) Chi amministra/somministra test/prove (test administrators) Chi corregge test/prove scritte e orali e/o chi assegna punteggi o formula giudizi(examiners)

E’ possibile distinguere varie tipologie di test linguistici secondo tre possibili

categorizzazioni

• Uso che viene fatto dei risultati del test:

• Costruzione del test

• Espressione dei giudizi e attribuzione dei punteggi relativi al test

Uso che viene fatto dei risultati:

• Test di piazzamento (placement tests): per assegnare gli studenti a classi di livello diverso,

• Test di profitto (achievement tests): per stabilire se gli studenti (e il corso) hanno raggiunto gli obiettivi preposti.

• Test diagnostici: per individuare i ‘punti di forza e di debolezza’ di ciascun discente per predisporre azioni adeguate di sostegno.

• DIALANG: test diagnostici computerizzati (14 lingue, compreso l’italiano) (5 moduli: lettura, scrittura, ascolto, strutture grammaticali e lessico) calibrati sui 6 livelli del QCER

• Test di proficiency: per verificare la competenza di un candidato in una data lingua indipendentemente dal percorso formativo (certificazioni linguistiche)

Costruzione del test

• Test diretti: richiedono allo studente di fornire una rappresentazione diretta dell’abilità che il test intende verificare-valutare (abilità produttive)

• Test indiretti: verificano competenze/conoscenze soggiacenti o funzionali alle abilità oggetto di valutazione

• Test a ‘punti discreti’: verificano singoli ed isolati elementi linguistici (grammatica e lessico) e li verificano uno alla volta

• Test integrati: verificano abilità integrate (es ascoltare e scrivere, ascoltare e parlare, leggere e scrivere ecc).

Espressione dei giudizi attribuzione dei punteggi relativi ad un test

1

• Test soggettivi• Test oggettivi• La differenza è relativa unicamente

ai metodi utilizzati per attribuire il punteggio

Cosa fa di un test linguistico un “buon” test linguistico (test “esterni”/test di proficency/certificazioni)?

deve basarsi su una teoria linguistica (cosa intendiamo per conoscere una lingua) e su un conseguente approccio alla valutazione deve basarsi su una definizione di “cosa” verificare (costrutto: competenza, abilità) Tale definizione e descrizione deve essere accessibile all’utenza: specificazioni deve poter fare riferimento ad un sistema di livelli standard (normativi e condivisi) deve avere un contenuto appropriato (caratteristiche della popolazione di discenti, bisogni, definizione del costrutto, livello) deve motivare deve essere relativo alla ‘vita reale’ deve essere proceduralmente/tecnicamente ben costruito secondo standard indicati da codici etici e professionali (buone pratiche) deve fornire materiali per “allenarsi all’esame”-past papers -eserciziari deve verificare almeno tutte e 4 le abilità di base deve avere un impatto positivo sull’insegnamento e sulla società deve essere riconosciuto e spendibile deve garantire la qualità la qualità deve a sua volta essere certificata (sistemi di qualità-bollini, ecc)

Che cosa significano queste parole/concetti che indicano le proprietà o qualità di un test?Lavorando da soli o a gruppi, scrivete una definizione di:Validità (Validity)Affidabilità (Reliability)Autenticità (Authenticity)Fattibilità (Practicality)Equità (Fairness)Utilità/Spendibilità (Usefulness)

Impatto (Impact)Eticità (Ethical test use)

vale a dire….

Tale processo di Validazione riguarda l’intero processo di costruzione di un test: dalla definizione della popolazione, alla definizione dell’oggetto della verifica-costrutto, alla correzione e attribuzione dei punteggi all’impatto del test e riguarda la necessità di fornire evidenze, di dimostrare concretamente la coerenza. conseguenzialità e sistematicità di tutte le fasi in cui si articola il processo

Facciamo un esempio….

Per interpretare correttamente dei punteggi in un test di produzione scritta, dovrò definire cosa si intende per capacità di scrittura in un dato contesto e per un dato gruppo di discenti/di candidati e di conseguenza il tipo di compiti (tasks) da includere nel test (relazioni, composizioni brevi, messaggi, lettere, email, ecc), i criteri per correggere e dare il punteggio (organizzazione del test, stile, originalità, il raggiungimento dell’obiettivo comu. ecc), le condizioni all’interno delle quali il candidato dovrà eseguire il compito (limiti di tempo, numero di parole, ecc ) e, a livello cognitivo, si dovrà anche cercare di tener conto dell’impegno cognitivo richiesto e di come variabili individuali di tipo psicologico, emozionale possano influenzare la performance

Affidabilità (Reliability) o validità dei punteggi (Scoring validity)La costanza e stabilità dei risultati di un test/prova/esame (o di sue versioni) attraverso somministrazione successive.Concetto tecnico relativo all’assenza di errori di misurazione, sostanzialmente a come è stato applicato il metodo di verifica e alle procedure sia di somministrazione del test sia di correzione ed attribuzione dei punteggi.

Principali cause di mancanza di affidabilità:

• Caratteristiche delle procedure di verifica (non del metodo in quanto tale)

Vale a dire aspetti relativi

1. a come un test è stato ‘scritto’ (ad es. istruzioni poco chiare che lo studente può interpretare in modo non corretto; item formulati in modo ambiguo)

2. alle sue condizioni di somministrazione (ad es. dove e quando viene somministrato un test: tipo di aula, tipo di sorveglianza, se il test viene somministrato di mattina o di pomeriggio). Tutti aspetti che possono incidere in modo significativo sulla performance di uno studente

Cause di mancanza di affidabilità (continua)

• Problemi che possono insorgere nella fase di attribuzione dei punteggi o espressione dei giudizi.

Ad esempio, nella verifica della Produzione scritta: performance equivalenti a cui viene attribuito un punteggio diverso.

Ciò può dipendere da:• criteri di valutazione poco chiari e difficilmente

applicabili• formazione inadeguata degli esaminatorie/o da errori umani: • errori di distrazione/stanchezza degli esaminatori• incostanza nell’attribuzione dei punteggi fra

esaminatori e da parte dello stesso esaminatore

Autenticità (predittività)

L’autenticità di un test linguistico è relativa alla possibilità di dimostrare che la performance di uno studente (nel test e nell’attività o compito che il test fa fare) corrisponde ad una effettiva capacità di uso della lingua in situazioni di vita reale

E’ il grado di corrispondenza fra le caratteristiche del compito o dell’attività che il test fa fare e quelle di un corrispondente compito o attività nella vita reale

In base a quanto detto prima il concetto di autenticità non è un concetto a parte ma rientra pienamente nel macro concetto di validità e ne rappresenta uno degli aspetti più significativi

Fattibilità (Practicality)

La misura in cui un test (così come lo abbiamo definito e descritto) è praticabile, fattibile in termini di risorse e condizioni disponibili. Riguarda aspetti pratici, organizzativi ed ‘economici’

Equità/Correttezza (Fairness)Assenza di bias (comportamenti scorretti, discriminatori e di parte) nei confronti della popolazione di riferimento (età, genere, paese di provenienza)La Valutazione, intendendo l’intero processo valutativo, non deve risultare in alcun modo discriminante relativamente ad aspetti socioculturali che possono risultare rilevanti ai fini del risultato. Ci sono analisi statistiche che ci aiutano ad identificare eventuali bias (DIF)

Utilità/Spendibilità (Usefulness)

E’ relativa all’utilità (e quindi spendibilità) dei risultati di un test/prova/esame per gli scopi per cui il test è stato costruito (contesto sia sociale che educativo). Dipende dalla correttezza delle inferenze e quindi da un buon equilibrio fra le diverse ‘qualità’ di un test/prova/esame,

E’ legata dunque al processo di validazione e alle evidenze che il medesimo è in grado di produrre

Validità: “cosa” (oggetto della verifica - costrutto: abilità o singola competenza)Affidabilità: stabilità/costanza e replicabilità dei risultati (metodo/”come”)Fattibilità: considerazioni di carattere pratico ed ‘economico’ (contesto)Autenticità: rispondenza delle attività proposte dal test ad attività nella vita realeUtilità/Spendibilità: Qualità di un test/prova/esameImpatto: ripercussioni della somministrazione di un test e dei suoi risultati a livello micro e macroEquità: rispetto di diversità socio-culturaliEticità: uso corretto dei test garantito dalla professionalità di chi li produce

Tutte queste proprietà rientrano oggi nel processo di validazione di un test

METODI

Test oggettivi: scelta multipla

• I test a scelta multipla richiedono di scegliere la risposta fra le tre o quattro proposte

• La risposta va selezionata non prodotta

Vantaggi Scelta Multipla• Correzione automatica, veloce ed economica in caso di grandi

numeri di candidati

• Può essere usato per la verifica di varie abilità e competenze (lettura, ascolto, grammatica. lessico)

• Non richiede di integrare abilità: lettura con scrittura, o con parlato, ascolto con scrittura o con parlato

• Risultati affidabili in quanto non coinvolgono giudizi soggettivi (ma….la costruzione della prova è soggetta a margini di errore laddove non pretestata: è un tipo di test che deve essere sperimentato su studenti simili per caratteristiche a quelli a cui sarà destinato in versione finale, in base ai risultati della sperimentazione si deve decidere se inserirlo nella versione originale, modificarlo o addirittura eliminarlo)

Svantaggi Scelta Multipla

• Estrema difficoltà di costruzione• richiede risorse e tempi lunghi

(sperimentazione)• richiede competenze ed esperienze

specifiche (un buon insegnante le ha? E’ necessario che le abbia? Fanno parte di un altro ‘mestiere’?)

Costruzione

• Scelta multipla a tre opzioni: una corretta, una sbagliata, una distraente; a quattro opzioni: una corretta, una sbagliata e due distraenti

• La risposta corretta deve essere una sola• Le opzioni date come distraenti (1 o 2) devono essere

sbagliate ma plausibili • Le opzioni devono essere omogenee, per costruzione e

lunghezza• Le opzioni non si devono escludere a vicenda• La risposta corretta o le risposte non corrette non

devono essere identificabili in base alla sola ‘conoscenza del mondo’ (in particolare nella comprensione della lettura e dell’ascolto)

Controllo

• Ovviamente tutto dipende dalla capacità ed esperienza di chi costruisce l’item oltre che dalla sperimentazione. Prima di ‘licenziare’ una scelta multipla è comunque necessario ricontrollare che:

• Vi sia la risposta corretta

• I quesiti siano ben formulati

• Non vi siano errori di ortografia, grammatica, punteggiatura

• La lingua usata sia concisa e di difficoltà adeguata al livello dei candidati

Perplessità

• Test che pone comunque una serie di perplessità:

– Una risposta non corretta può essere dovuta esclusivamente alla non comprensione della domanda?

– La risposta corretta può essere data solo in base all’esclusione delle altre opzioni?

– Quanto ha inciso la fortuna o il caso nell’individuare la risposta corretta?

Test oggettivi: Completamento (gap-filling)

• Consiste nel completare dei testi di media lunghezza (o delle frasi) da cui sono state tolte delle parole

• La parola da inserire dovrebbe risultare una sola o quanto meno le possibili opzioni dovrebbero essere limitate (3/4)

• La risposta può essere prodotta o selezionata da una lista• Viene spesso usato per la verifica della grammatica, del

lessico (dell’ascolto e anche della lettura)• Si basa frequentemente su testi scritti sia autentici sia scritti

appositamente• La correzione può essere oggettiva una volta che siano state

individuate tutte le possibili risposte• Richiede pertanto una sperimentazione (anche fra colleghi

dello stesso scorso) prima di essere somministrato• Una variante può essere quando il testo deve essere

completato con delle frasi (che di solito vengono presentate in una lista a parte, in disordine e con dei distraenti)

Vantaggi Completamento (gap-filling)

• Non essendo la scansione delle parole da eliminare determinata automaticamente (cloze), è possibile scegliere le parole o frasi da eliminare adattando il test al livello di competenza degli studenti

• Si possono cambiare gli item da completare senza dover cambiare il testo (fattibilità/economicità)

Svantaggi Completamento (gap-filling)

(relativamente alla verifica della lettura)

• Nonostante venga spesso utilizzato per valutare la comprensione della lettura è stato dimostrato che per eseguire un completamento lo studente non si concentra sulla comprensione ma piuttosto sull’abbinamento della parola da inserire con quella/quelle che immediatamente seguono e precedono

• Di conseguenza non può essere l’unico metodo adottato per verificare la comprensione della lettura

• E’ un tipo di test molto utilizzato per verificare competenze di tipo grammaticale e/o lessicale

Test oggettivi: Cloze

Consiste nel completare con le parole mancanti dei testi a buchi.

A differenza del completamento la scansione delle parole da eliminare viene determinata automaticamente (da un minimo di 4 ad un massimo di 8)

Svantaggie Cloze

• Non vi è di conseguenza alcuna possibilità di scegliere le parola da eliminare (come nel completamento) decidendo volta per volta la scansione

• Diventa molto difficile controllare la difficoltà del test

• In definitiva non è un test esclusivamente linguistico, ma piuttosto è un test utile per verificare le strategie di ricostruzione di testi da parte di parlanti nativi

Test oggettivi: Abbinamento (Matching)

• Test che richiede di abbinare parole, espressioni, domande e risposte da due liste

• E’ importante che ciascun item della prima lista si possa abbinare solo con un item della seconda lista

• Per evitare che l’ultimo abbinamento avvenga per esclusione di solito si inseriscono dei distraenti

• Può essere utilizzato molto limitatamente per verificare la comprensione di lettura piuttosto per verificare conoscenze linguistiche anche di tipo pragmatico (uso linguistico) sociopragmatico (appropriatezza)

Test soggettivi: composizioni, saggi relazioni, lettere, e-mail, brevi articoli, riassunti, conversazioni, interviste

(produzione ed interazione scritta e orale)

• Vantaggi:• prove dirette (approccio comunicativo-performance)• prove ‘facili’ da costruire• potenzialmente motivanti (in base anche al tipo di task)• culturalmente connotate

• Svantaggi:• possibile non affidabilità dei risultati• necessità di predisporre criteri e scale di misurazione per

garantire affidabilità ai risultati• Necessità di stabilire quali tipi di scale (olistiche/analitiche) e

quali criteri• Necessità di formare e monitorare gli esaminatori

Problemi legati all’attribuzione dei punteggi: le scale

• Scale olistiche sono più facili da usare ma danno meno informazioni

• Scale analitiche sono più complesse da usare ma danno più informazioni (se i criteri vengono effettivamente usati tutti…)

• Uno studio condotto da Sakyi (2000) rivela l’utilizzo di scale di tipo olistico comporta il rischio che gli esaminatori si sentano liberi di utilizzare propri sistemi di attribuzione del punteggio ed individua 4 tipi di comportamento: focus sugli errori, focus sul contenuto, focus sulla presentazione delle idee, focus sulla reazione personale al testo

• Altri studi si sono occupati dei processi mentali a cui gli esaminatori ricorrono per arrivare ad attribuire il punteggio utilizzando scale analitiche e di quali sono i criteri che influenzano maggiormente l’attribuzione del punteggio

Problemi legati all’attribuzione dei punteggi• Legati al comportamento degli esaminatori, sia singolarmente sia in

rapporto agli altri• Legati alla scelta dei criteri e alla loro applicazione (spesso gli

esaminatori utilizzano solo alcuni dei criteri proposti)• La formazione è assolutamente fondamentale, così come alcuni studi

(Weigle 1994) hanno dimostrato che la possibilità di confrontarsi con “modelli” di valutazione può risultare di grande aiuto.

• Sempre secondo Weigle, esaminatori esperti tendono ad essere meno severi di esaminatori con minore esperienza

• Lo stesso parrebbe valere nel caso di esaminatori madre lingua rispetto a esaminatori non di madre lingua. Questa ultima differenza tende però a diminuire quando gli esaminatori vengono formati (Brown 1995)

• Concludendo il fattore più importante, oltre alla formazione, sembra essere l’interazione fra l’esaminatore e i criteri selezionati

Problemi legati all’attribuzione dei punteggi

• Un importante studio di Lumley (2000) arriva alla conculsione che “rating scales represent … a set of negotiated principles which the raters use as a basis for reliable action rather than a valid description of language performance”

Problemi legati all’attribuzione dei punteggi

• I punteggi assegnati ad un test di produzione sia scritta che orale sono il risultato di un processo complesso che necessariamente riguarda: il task, l’interazione fra il task e lo studente (sia linguistica che di conoscenze pregresse), l’esaminatore e le procedure per l’attribuzione del punteggio.

Relazioni, lettere, email

• E’ necessario che le istruzioni/input siano chiari (è da discutere quanto debbano essere dettagliati e lunghi)

• Deve essere specificato quanto lungo deve essere il testo

• Deve essere specificato il destinatario (registro)

• Deve essere specificata la situazione

• Devono essere specificati i criteri di valutazione (anche per i discenti)

Composizioni, brevi saggi

• Vantaggi:

• Facilità nel trovare e formulare argomenti e titoli da sottoporre agli studenti

• Possibilità di verificare abilità quali quella di sviluppare un argomento in modo logico e coerente

• Metodo familiare e rassicurante per molti studenti

Composizioni, brevi saggi• Svantaggi:

• Eseguire un compito di produzione scritta dipende anche da competenze diverse dalla abilità oggetto di verifica

• Più il titolo e l’argomento sono generici maggiore è la possibilità di avere produzioni molto diverse le une dalle altre e questo rende più difficile valutarle in maniera equa e per quanto possibile uniforme

• I limiti di tempo che necessariamente vanno imposti possono svantaggiare studenti più lenti nello scrivere

• Indicare il numero minimo e massimo di parole è artificiale ma necessario

Test soggettivi: Domande aperte, risposte brevi

• Tipo di test generalmente usato per la verifica della Comprensione della Lettura (Ascolto). Si distingue dalla risposte brevi per il numero di parole da utilizzare nella risposta (che quindi devono essere specificate)

• Test motivante in quanto corrisponde a compiti di vita reale

• Abilità integrate: Lettura/Ascolto e Scrittura

• Importante focalizzarli sull’abilità oggetto di verifica

Test soggettivi: Interviste orali

• E’ preferibile che l’intervista venga strutturata e non sia completamente libera. In tal caso infatti lo studente di cui vogliamo verificare l’abilità di produzione orale potrebbe produrre pochissima lingua per cui le informazioni che riusciremmo ad avere sull’abilità orale sarebbero minime

• Vanno dunque preparati degli input su cui basare un intervista orale

• Devono essere specificati sia tempi sia criteri di valutazione

DIF (Differential Item Functioning)Dictionary of Language Testing (SILT 7)

DIF is when an item functions differently (is easier or more difficult) for one group of candidates of the same ability than another group of the same ability (groups defined by things like gender, age and country of origin)

For DIF detection, you need item response data and data on candidate’s background characteristics (in order to group them by gender, etc) and it needs to be linked (we know which candidate’s responses belong to which data on background characteristics)

There are various statistical methods to detect DIF (see the special number of LAQ 4/2 2007http://www.tandfonline.com/toc/hlaq20/4/2) including using Rasch analysis which is what we do Two things about DIF i) how strong it is, ii) the probablity it is due to chance (low - item 13)

It must be interpreted qualitatively

DIF measure

-5

-4

-3

-2

-1

0

1

2

3

4

51 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78

ITEM

DIF

Mea

sure

(diff

.)

FM*

DIF contrast

-1.2

-1

-0.8

-0.6

-0.4

-0.2

0

0.2

0.4

0.61 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78

ITEM

DIF

Siz

e (d

iff.)

FM

Test oggettivi: Scelta multipla binaria, Vero/falso Si/No

• I test di vero/falso richiedono semplicemente di scegliere fra sì/no o fra vero/falso.

• La risposta va selezionata e non prodotta

Vantaggi: Vero/falso Si/No

• relativa facilità di costruzione

• metodo altamente oggettivo e quindi affidabile

• Può essere usato per la verifica di varie abilità e competenze (lettura, ascolto, grammatica. lessico)

Svantaggi: Vero/falso Si/No

• 50% di probabilità che lo studente risponda tirando ad indovinare (a meno che non si penalizzi)

• Per trovare un correttivo si è provato a chiedere di dare spiegazione della risposta, compito non facile che coinvolge la scrittura e difficile da valutare ( problemi di affidabilità)

Test Oggettivi: Correzioni di errori (Editing)

• E ‘un test che consente di verificare conoscenze di tipo grammaticale e lessicale

• Consiste nell’individuare errori sia in un testo scritto (segnalandoli semplicemente o correggendoli anche) sia in una scelta multipla

• Gli errori possono essere anche errori di ortografia, simulando gli errori che si fanno spesso scrivendo in fretta o perché distratti

Test oggettivi: Trasferimento di informazioni (Information Transfer)

• Test usato generalmente per la verifica della Lettura e dell’Ascolto

• Richiede di trasferire informazioni (numeri, date, brevi frasi da un testo (letto o ascoltato) in una tabella, formulario, diagramma, ecc

Vantaggi

• Test adatto per verificare la comprensione di una sequenza narrativa o descrittiva, di una classificazione, di un processo costituito da una serie di fasi

• Il compito che lo studente è chiamato a compiere è simile (anche per come si presenta) ad attività proprie di situazioni di vita reale. In particolare in contesti di studio e lavoro

• Il compito appare dunque come autentico e, in quanto tale, può essere recepito come motivante.

Svantaggi

• Può essere, d’altra parte, un tipo di compito molto complicato

• Capire cosa deve fare può richiedere allo studente molto tempo, per contro le informazioni ‘linguistiche’ che si possono ottenere possono a loro volta essere minime

• In aggiunta, può essere un compito ‘facilitante’ per una certa tipologia di studenti e creare notevoli difficoltà di tipo culturale e cognitivo per altri

Costruzione del test: test diretti 2

• I test diretti sono relativamente facili da costruire se si parte dalla definizione dell’utenza e dei relativi bisogni linguistici in situazioni di vita ‘reale’

• è di conseguenza relativamente facile definire il costrutto oggetto di indagine e cercare di elicitare una performance rappresentativa

• l’impatto educativo può essere positivo (favorisce lo sviluppo di abilità produttive, soprattutto il parlato, spesso trascurato in contesti di insegnamento di una lingua straniera)

• possono insorgere problemi di affidabilità e di limitatezza del campione elicitato

Costruzione del test: test indiretti 3

I test indiretti, per contro, elicitano conoscenze e competenze specifiche piuttosto che abilità o saper fare, ma come tali, più generalizzabili

vale a dire: conoscenze grammaticali e lessicali così come conoscenze di fonetica e fonologia (nel caso del parlato) sono comunque sempre necessarie per parlare e scrivere in qualsiasi situazione comunicativa

Il problema è il rapporto fra le competenze elicitate e l’abiltà oggetto di indagine

vale a dire: non abbiamo sufficiente evidenza che il fatto di aver ottenuto buoni risultati ad esempio in test di grammatica possa predire un equivalente buon risultato nello scrivere una cronaca, un racconto o una lettera

Validity - Validation

Validity: «Appropriateness, meaningfulness and usefulness of the specific inferences made from test scores» Standards for educational and psychological testing (APA 1985) (Purpura 2011)

Validation: «the process of accumulating evidence to support such inferences» Standards for educational and psychological testing (APA 1985) (Purpura 2011)

«Validation is an on-going process» (Bachman & Palmer 1996)

Obiettivi e Contenuti

• Esaminare/discutere i principi teorici che stanno dietro la costruzione di test linguistici e ne garantiscono la rispondenza allo scopo e la qualità (responsabilità)

• Diventare consapevoli/più consapevoli dei molti aspetti da tenere presente quando si parla di valutazione linguistica e quando si lavora in questo ambito

• Lavorare su esempi di test/prove linguistiche

Valutazione positiva/negativa

Pensate a casi in cui siete stati valutati. Siete stati valutati in senso positivo o negativo:per quello che sapevate/sapevate fare?per quello che non sapevate/sapevate fare?

Valutazione sommativa Valutazione formativa

• Valutazione sommativa: valutazione dell’apprendimento

• Valutazione formativa: valutazione per l’apprendimento

Valutazione criteriale (Criterion-referenced) o Valutazione normativa (Norm-referenced)Valutazione e interpretazione dei risultati sulla base di un criterio esterno (programmi ministeriali o QCER)Valutazione e interpretezione dei risultati sulla base della performance del gruppo

Norma e Criterio• “Norma”: riferimento interno

– Il richiamo alla “norma” è un raffronto con la performance di un gruppo/ classe (è un raffronto possibile, in qualche misura, per lo studente)

• “Criterio”: riferimento esterno – Il richiamo al “criterio” è un raffronto con

parametri esterni — ad esempio, quelli offerti dai livelli del Quadro Comune Europeo di Riferimento (è un raffronto difficile per lo studente)

Item

Ogni singola parte di un test/prova a cui venga assegnato un punteggio

Competenze che un insegnante dovrebbe avere per essere “preparato” in valutazione

Secondo i Seven Standards for Teacher Development in Assessment prodotti dall’American Federation of Teachers, dal National Council on Measurement in Education e dalla National Education Association (1990), le competenze sono:• selezionare metodi di verifica appropriati per prendere decisioni in nel

settore dell’istruzione• Sviluppare prove relative a tali metodi • Somministrare, valutare ed interpretare i risultati di prove sia esterne

sia interne• Sviluppare valide procedure per definire punteggi, giudizi, gradi, voti• Comunicare i risultati a studenti, parenti, altri atakeholders• Riconoscere quando l’uso dei risultati possa essere inappropriato o non

etico o illegale• Usare i risultati per prendere decisioni relative a singoli studenti,

pianificazione di corsi, sviluppo di curricoli

Il modello interpretativo di Toulmin

Datum: performance dello studenteClaim : l’interpretazione (punteggio, giudizio)Warrant: giustificazioni al passaggio dal datum al claimBacking: evidenze a supporto delle giustificazioniException : possibili obiezioni al claim

Gli usi dell’argomentazione

• Il modello interpreativo di Tulmin può essere applicato a qualsiasi settore e a qualsiasi situazione , in quanto basato su un ragionamento logico

• L’argomentazione nasce per giustificare un’asserzione che può essere come qualsiasi asserzione messa in dubbio

Caratteristiche di una valutazione linguistica consapevole fondata su basi teoriche:

• Deriva da e risponde a scopi ben chiari (generici o per scopi specifici nel caso dell’apprendimento linguistico) (il cosa)

• Deriva da e riflette chiari ed appropriati obiettivi d’insegnamento/apprendimento (il perché)

• Si basa su metodi di verifica appropriati (il come)

• Fornisce un campione appropriato dell’apprendimento degli studenti (il come generare/elicitare tale campione)

• Tiene sotto controllo possibili fonti di bias (comportamenti scorretti) (per prevenirli)

• Fornisce risultati attendibili

La valutazione anche linguistica da diverse prospettive: studenti, insegnanti

• Molti studenti non percepiscono la valutazione come un’esperienza educativa, ma piuttosto come qualcosa da superare che crea spesso ansia

• Molti inseganti hanno una percezione simile. Soprattutto quando la valutazione è “esterna” vale a dire non sono gli stessi insegnanti a preparare e valutare le prove, molti insegnanti avvertono un gap fra insegnamento e valutazione

• Ci sono molti pregiudizi sulla valutazione che è spesso vista come una sorta di arcano o di torre d’avorio, qualcosa di tecnico e/o complesso che forse è meglio demandare da altri…

Test oggettivi: definizione ed esempi

• Si definiscono oggettivi i test in cui non si richiede di esprimere un giudizio in quanto la risposta corretta ai singoli item è predeterminata (chiavi) ed ha un predeterminato punteggio (scansione ottica -correzione automatica) (affidabilità..se…)

• Scelta binaria: vero o falso (scelta multipla a due opzioni)• Scelta multipla (tre/ quattro opzioni) (su testi, su frasi)• Completamento: inserimento della parola, della

frase/espressione mancante, completamento della frase priva della parte finale. Spesso si completa scegliendo da una lista di possibili opzioni

• Abbinamento (parole o frasi da abbinare da due liste• Riordino: di elementi (lettere parole frasi) in sequenza casuale• Trasformazione: con le tecniche proprie degli esercizi

strutturali• Editing: correzioni di errori, eliminazione di vocaboli intrusi

Test soggettivi: definizione ed esempi

• Si definiscono soggettivi i test in cui si richiede di esprimere un giudizio in quanto la risposta non è predeterminata

• è necessario predisporre criteri di valutazione• è necessario disporre di personale competente

e preparato

• Produzioni scritte libere o guidate• Produzione orali libere o guidate• Domande aperte