Palazzina Lupattelli – Via XIV Settembre, 75 Telefono +39 075 5746 721–722–723

06121 Perugia – Italia Fax +39 075 5746 720

www.unistrapg.cvcl.it Email unicert@unistrapg.cvcl.it

LA VALIDAZIONE DEI RISULTATI NEGLI ESAMI CELI

Il CVCL ha intrapreso da tempo un percorso di ricerca e sperimentazione volto a monitorare la comparabilità degli esami CELI somministrati in sessioni diverse ed intervenire per aumentare la garanzia di equiparabilità dei risultati. Due sono gli aspetti fondamentali che contraddistinguono questo percorso di ricerca e sperimentazione, basato essenzialmente su principi di analisi statistico-quantitativa:

1. Gli “item ancora” In ogni sessione di un esame CELI vengono inseriti circa 20 ” item ancora”, ovvero item con un livello di difficoltà noto1, in quanto già utilizzati in sessioni precedenti dei CELI o perché pretestati su un campione rappresentativo della popolazione finale dei candidati CELI. La presenza di questi “item ancora” è indispensabile al fine di mettere in relazione e comparare, in termini di difficoltà, gli item di sessioni diverse degli esami. Su tali premesse, si raccomanda ai Centri d’Esame di NON utilizzare materiale proveniente da precedenti sessioni dei CELI per la preparazione dei candidati agli esami, al fine di evitare esercitazioni su prove che potrebbero essere riutilizzate nelle sessioni live come “item ancora”

2. L’equiparabilità dei risultati da sessione a sessione

Comparare quantitativamente le sessioni d’esame in termini di difficoltà degli item, significa anche poter intervenire in modo da garantire l’equiparabilità dei risultati conseguiti dai candidati che si sottopongono agli esami CELI in sessioni diverse. Su tali presupposti, nelle prime fasi di correzione e attribuzione dei punteggi, un’analisi a campione permette di stabilire se il livello di difficoltà degli item di una determinata sessione CELI è comparabile al livello delle sessioni che l’hanno preceduta. In caso si rilevi una qualche discrepanza, ai fini di mantenere una tendenza costante tra sessione e sessione, si interviene con un aggiustamento dei punteggi di taglio, che verranno abbassati o alzati in proporzione al livello di difficoltà calcolato degli item dell’esame (ovvero, qualora una sessione d’esame presentasse valori di difficoltà tendenzialmente più alti, i punteggi di taglio verrebbero proporzionalmente abbassati, al fine di non penalizzare i candidati; al contrario, qualora l’analisi rilevasse valori di difficoltà più bassi rispetto al trend di quel determinato livello CELI, i punteggi di taglio verrebbero proporzionalmente alzati al fine di non favorire i candidati). Una volta aggiustati i punteggi di taglio, i risultati verranno nuovamente riconvertiti sui valori delle tradizionali scale alfanumeriche CELI (gradi A, B, C, D, E), affinché il punteggio minimo da raggiungere per l’ottenimento di un determinato grado rimanga costante da sessione a sessione. Quanto fino a qui delineato rappresenta una fase importante del processo di miglioramento continuo che il CVCL ha intrapreso da anni al fine di garantire ai propri esami standard di qualità basati anche su processi di validazione statistico-quantitativa. Il rispetto di tali standard si configura ormai come un parametro imprescindibile nel contesto della verifica e valutazione delle competenze linguistico-comunicative, tanto che l’ALTE, ad esempio, ha imposto ai suoi membri l’obbligo al rispetto di 17 standard minimi di qualità quale requisito per la permanenza all’interno dell’associazione (vedi: http://www.alte.org/standards/index.php).

1 Il livello di difficoltà degli item viene stimato in base a calcoli statistici basati su modelli di IRT (Item Response Theory)