LE FUNZIONI E I COMPITI

DELL’INVALSI PER LA VALUTAZIONE DEGLI APPRENDIMENTI.

DALLA COSTRUZIONE DELLE PROVE ALLA RESTITUZIONE DEI RISULTATI

Dino Cristanini

Direttore Generale INVALSI

LA NATURA DELL’INVALSI

L’ISTITUTO E’ ENTE DI RICERCA CON PERSONALITA’ GIURIDICA DI DIRITTO PUBBLICO ED AUTONOMIA AMMINISTRATIVA, CONTABILE, PATRIMONIALE, REGOLAMENTARE E FINANZIARIA

(Decreto legislativo 19 novembre 2004, n. 286)

VALUTARE PER MIGLIORARE

Art. 3 c.1 lett. b Legge 28 marzo 2003, n.53

Ai fini del progressivo miglioramento e dell’armonizzazione della qualità del sistema di istruzione e di formazione, l’Istituto nazionale per la valutazione del sistema di istruzione effettua verifiche periodiche e sistematiche sulle conoscenze e abilità degli studenti e sulla qualità complessiva dell’offerta formativa delle istituzioni scolastiche e formative

I COMPITI DELL’INVALSI NEL D.LGS. 286/2004

• effettua verifiche periodiche e sistematiche sulle conoscenze e abilità degli studenti e sulla qualità complessiva dell'offerta formativa delle istituzioni di istruzione e di istruzione e formazione professionale, anche nel contesto dell'apprendimento permanente. Per la formazione professionale le verifiche concernono esclusivamente i livelli essenziali di prestazione e sono effettuate tenuto conto degli altri soggetti istituzionali che già operano a livello nazionale nel settore della valutazione delle politiche nazionali finalizzate allo sviluppo delle risorse umane;

• predispone, nell'ambito delle prove previste per l'esame di Stato conclusivo dei cicli di istruzione, per la loro scelta da parte del Ministro, le prove a carattere nazionale, sulla base degli obiettivi specifici di apprendimento del corso ed in relazione alle discipline di insegnamento dell'ultimo anno di ciascun ciclo, e provvede alla gestione delle prove stesse, secondo le disposizioni emanate in attuazione dell'articolo 3, comma 1, lettera c), della legge 28 marzo 2003, n. 53;

• svolge attività di ricerca, nell'ambito delle sue finalità istituzionali;• studia le cause dell'insuccesso e della dispersione scolastica con riferimento al

contesto sociale ed alle tipologie dell'offerta formativa;• assume iniziative rivolte ad assicurare la partecipazione italiana a progetti di ricerca

europea e internazionale in campo valutativo;• svolge attività di supporto e assistenza tecnica all'amministrazione scolastica, alle

regioni, agli enti territoriali, e alle singole istituzioni scolastiche e formative per la realizzazione di autonome iniziative di monitoraggio, valutazione e autovalutazione;

• svolge attività di formazione del personale docente e dirigente della scuola, connessa ai processi di valutazione e di autovalutazione delle istituzioni scolastiche.

LA LEGGE 1/2007L’ANALISI DELLE PROVE DELL’ESAME DI STATO

CONCLUSIVO DELLA SCUOLA SECONDARIA SUPERIORE

L'Istituto nazionale per la valutazione del sistema educativo di istruzione e di formazione (INVALSI) provvede, sulla base di apposite direttive impartite dal Ministro della pubblica istruzione (…), alla predisposizione di modelli da porre a disposizione delle autonomie scolastiche ai fini della elaborazione della terza prova. L'Istituto provvede, altresì, alla valutazione dei livelli di apprendimento degli studenti a conclusione dei percorsi dell'istruzione secondaria superiore, utilizzando le prove scritte degli esami di Stato secondo criteri e modalità coerenti con quelli applicati a livello internazionale per garantirne la comparabilità

LA LEGGE 176/2007LA PROVA NAZIONALE AL TERMINE

DEL PRIMO CICLO

L’esame di Stato comprende anche una prova scritta, a carattere nazionale, volta a verificare i livelli generali e specifici di apprendimento conseguiti dagli studenti. I testi relativi alla suddetta prova sono scelti dal Ministro della pubblica istruzione tra quelli predisposti annualmente dall’Istituto nazionale per la valutazione del sistema educativo di istruzione e di formazione (Invalsi), conformemente alla direttiva periodicamente emanata al Ministro stesso, e inviati alle istituzioni scolastiche competenti.

LA LEGGE 176/2007LA VALUTAZIONE DEL VALORE

AGGIUNTOA decorrere dall'anno scolastico 2007-2008 il Ministro

della pubblica istruzione fissa, con direttiva annuale, gli obiettivi della valutazione esterna condotta dal Servizio nazionale di valutazione in relazione al sistema scolastico e ai livelli di apprendimento degli studenti, per effettuare verifiche periodiche e sistematiche sulle conoscenze e abilita' degli studenti, di norma, alla classe seconda e quinta della scuola primaria, alla prima e terza classe della scuola secondaria di I grado e alla seconda e quinta classe del secondo ciclo, nonche' altre rilevazioni necessarie per la valutazione del valore aggiunto realizzato dalle scuole.

IL VALORE AGGIUNTO

L’EFFETTO POSITIVO PRODOTTO DALLA SCUOLA IN UN DETERMINATO INTERVALLO DI TEMPO

I RISULTATI DI APPRENDIMENTO DEPURATI DALLE VARIABILI ESTERNE ALLA SCUOLA CHE LO CONDIZIONANO

Esempio punteggi grezzi (Martini e Ricci - 2008)

Esempio punteggi con calcolo valore aggiunto (Martini e Ricci-2008)

LE DIRETTIVE MINISTERIALI

LA DIRETTIVA TRIENNALE N.74/2008

Rilevare gli apprendimenti degli studenti nei momenti di ingresso e di uscita dei diversi livelli di scuola, così da rendere possibile la valutazione del valore aggiunto fornito da ogni scuola in termini di accrescimento dei livelli di apprendimento degli alunni

LE DIRETTIVE MINISTERIALI

LA DIRETTIVA TRIENNALE N.74/2008

La rilevazione sarà messa a regime nel corso di tre anni secondo la seguente scansione:

- anno 2008-2009 le scuole primarie- anno 2009-2010 le scuole secondarie di

primo grado- anno 2010-2011 le scuole secondarie di

secondo grado

I COMPITI DELL’INVALSI NEL DECRETO LEGISLATIVO

n. 213 del 31 dicembre 2009Nell’ambito della costruzione del Sistema nazionale di valutazione l’INVALSI ha le seguenti

competenze:a. lo studio e la predisposizione di strumenti e modalità oggettive di valutazione degli

apprendimenti e la cura dell’elaborazione e della diffusione dei risultati della valutazione;b. la promozione di periodiche rilevazioni nazionali sugli apprendimenti che interessano le

istituzioni scolastiche e l’istruzione e formazione professionale, il supporto e l’assistenza tecnica alle istituzioni scolastiche e formative anche attraverso la messa a disposizione di prove oggettive per la valutazione degli apprendimenti finalizzate anche alla realizzazione di autonome iniziative di valutazione e autovalutazione;

c. lo studio di modelli e metodologie per la valutazione delle istituzioni scolastiche e di istruzione e formazione professionale e dei fattori che influenzano gli apprendimenti

d. la predisposizione di prove a carattere nazionale per gli esami di Stato, nell’ambito della normativa vigente;

e. lo svolgimento di attività di ricerca e la collaborazione alle attività di valutazione del sistema scolastico al fine di realizzare iniziative di valorizzazione del merito anche in collaborazione con il sistema universitario;

f. lo svolgimento di attività di ricerca, nell'ambito delle proprie finalità istituzionali, sia su propria iniziativa che su mandato di enti pubblici e privati, assicurando inoltre la partecipazione italiana a progetti internazionali in campo valutativo;

g. lo svolgimento di attività di supporto e assistenza tecnica alle regioni e agli enti territoriali per la realizzazione di autonome iniziative di monitoraggio, valutazione e autovalutazione;

h. lo svolgimento di attività di formazione del personale docente e dirigente della scuola sui temi della valutazione in collaborazione con l’ ANSAS.

LA QUALITA’ DELLE RILEVAZIONI

QUALITA’ DELLE PROVE

QUALITA’ DELLA SOMMINISTRAZIONE

QUALITA’ DELLA ELABORAZIONE DEI DATI

LA PREDISPOSIZIONE DELLE PROVE

L’ELABORAZIONE DEI QUADRI DI RIFERIMENTO

LA PRODUZIONE DEGLI ITEM

LA PRIMA REVISIONE QUALITATIVA

LA PROVA SUL CAMPO

LA PRODUZIONE DEFINITIVA

IL QUADRO DI RIFERIMENTO DI ITALIANO

Oggetto precipuo delle prove Invalsi sono le sottocompetenze dell’ambito della lettura

TESTUALEcomprensione locale e globale del testoorganizzazione logica entro e oltre la fraseaspetti formali e retoriciGRAMMATICALEortografia e punteggiaturamorfologia e sintassiLESSICALE

IL QUADRO DI RIFERIMENTO DI MATEMATICA

I NUCLEI TEMATICI

NUMERI

SPAZIO E FIGURE

RELAZIONI E FUNZIONI

(solo a partire dalla V primaria)

MISURE, DATI E PREVISIONI

LA VALIDAZIONE DELLE PROVE

Indice di Cronbach: coerenza e unitarietà della prova

Rasch analysis: stima della difficoltà delle domande

Placement: difficoltà delle domande e livelli di apprendimento raggiunti dai rispondenti

LA RESTITUZIONE DEI DATI

I RAPPORTI NAZIONALI

I DATI AGGREGATI A LIVELLO REGIONALE

I DATI AGGREGATI A LIVELLO DI SINGOLA SCUOLA

I DATI AGGREGATI A LIVELLO DI SINGOLE CLASSI

I DATI DISAGGREGATI DOMANDA PER DOMANDA

LA RESTITUZIONE DEI DATI ALLE SCUOLE

UNA RISORSA PER L’AUTOVALUTAZIONE E IL MIGLIORAMENTO

art.4 comma 4 D.P.R. 275/1999

Nell'esercizio dell'autonomia didattica le istituzioni scolastiche (…) Individuano inoltre le modalità e i criteri (…) per la valutazione periodica dei risultati conseguiti dalle istituzioni scolastiche rispetto agli obiettivi prefissati

LA RESTITUZIONE DEI DATI ALLE SCUOLE

SCOPI

FORNIRE ALLE SCUOLE ELEMENTI DI CONOSCENZA AFFIDABILI PER CONOSCERE IL PROPRIO POSIZIONAMENTO RISPETTO ALLE ALTRE SCUOLE O AD UN PROPRIO TARGET

STIMOLARE PROCESSI DI MIGLIORAMENTO

Le criticità in italiano ( II classe)

Le criticità in italiano (V classe)

Le criticità in matematica (II classe)

Le criticità in matematica (V classe)

CONFRONTARSI RISPETTO AGLI STANDARD ESTERNIB

olog

na, 2

3 N

ovem

bre

2009

A

ngel

a M

artin

i

Domande che una scuola dovrebbe porsi

1) Rispetto alle medie, nazionale e locale (regione, macro-area), come si colloca il risultato medio della mia scuola?

2) Rispetto a scuole simili sotto il profilo della composizione della popolazione scolastica, come si colloca la mia scuola?

3) Qual è la distribuzione degli alunni della mia scuola nei livelli di prestazione?

4) Le eventuali differenze che riscontro sono significative (in termini statistici e di entità della differenza)?

5) Da cosa possono dipendere le differenze che riscontro?

6) Sono in grado di formulare un’ipotesi per rispondere a questa domanda, oppure ho bisogno di raccogliere ulteriori informazioni prima di arrivare ad avanzarne una?

CONFRONTARSI AL PROPRIO INTERNOB

olog

na, 2

3 N

ovem

bre

2009

A

ngel

a M

artin

i

Domande che una scuola dovrebbe porsi

1) Le classi della mia scuola, dello stesso livello (es.: II) o di livello diverso (es: II e V), hanno risultati simili fra loro e rispetto agli standard? Se no, sono in grado di ipotizzare quale ne sia la ragione? (differenze originarie nel livello di abilità degli alunni delle varie classi, differenze nel curricolo “insegnato”, differenze tra gli insegnanti …)

2) Quale relazione c’è tra il punteggio medio ottenuto dalle classi nelle prove INVALSI e le valutazioni medie degli insegnanti di classe, in particolare in Italiano e in Matematica? L’ordinamento fra classi stabilito in base alle prime corrisponde grosso all’ordinamento in base alle seconde?

3) Qual è l’entità della differenza di risultati – se c’è – fra i principali sottogruppi della popolazione della mia scuola (ad es. fra maschi e femmine, fra alunni italiani e non, ecc.)

4) Vi sono differenze rilevanti di risultati fra la prova di Italiano e la prova di Matematica, e, all’interno di ciascuna, tra le loro principali articolazioni (ad es. tra testo narrativo ed espositivo, nel caso dell’Italiano, o tra l’ambito “Numeri” e l’ambito “Spazio e figure” nel caso della Matematica?

LA COLLABORAZIONE ALLE INDAGINI INTERNAZIONALI

OCSE PISA

IEA TIMSS

IEA TIMSS ADVANCED

IEA ICCS

IEA PIRLS

IEA SITES

L’INDAGINE OCSE PISA

PISA = Programme for International Student Assessment

E’ una indagine promossa dall’OCSE per accertare le competenze dei quindicenni scolarizzati

Viene effettuata ogni tre anni e riguarda tre aree: lettura, matematica e scienze, ma ogni ciclo approfondisce in particolare un’area

Nel 2010:

• Sviluppo progetto indagine 2009

• Avvio progetto indagine 2012

L’INDAGINE IEA TIMSS

IEA=International Association for the Evaluation of Educational Assessment

TIMSS=Trends in International Mathematics and Science Study

I risultati degli studenti in Matematica e Scienze in oltre 60 sistemi d’istruzione

Classi coinvolte:IV primariaIII secondaria primo grado

L’INDAGINE IEA PIRLS

IEA=International Association for the Evaluation of Educational Assessment

PIRLS=Progress in International Reading Literacy Study

La competenza nella lettura

Classe coinvolta:IV primaria

L’INDAGINE TIMSS ADVANCED

Rileva le prestazioni degli studenti nell’ultimo anno della scuola secondaria superiore per gli indirizzi di studio con matematica e fisica avanzata (liceo scientifico e istituto tecnico industriale)

L’Italia nel confronto internazionale

Fonte : Cipollone Sestito 2010

LO STUDIO DI MODELLI PER

LA VALUTAZIONE DELLE SCUOLE

ANALISI DEI SISTEMI DI VALUTAZIONE UTILIZZATI IN CIRCA 20 PAESI

COSTRUZIONE DI UN SISTEMA NAZIONALE DI INDICATORI ORGANIZZATI IN BASE AL MODELLO CIPP:

CONTEXT-INPUT-PROCESS-PRODUCT

LO STUDIO DI MODELLI PER

LA VALUTAZIONE DELLE SCUOLE

ANALISI DEI SISTEMI DI VALUTAZIONE UTILIZZATI IN CIRCA 20 PAESI

COSTRUZIONE DI UN SISTEMA NAZIONALE DI INDICATORI ORGANIZZATI IN BASE AL MODELLO CIPP:

CONTEXT-INPUT-PROCESS-PRODUCT

CONTESTO

RISORSE

(INPUT)

PROCESSI

ORGANIZZATIVI

DIDATTICI

RISULTATI

(OUTPUT

OUTCOME)

CONTESTO

Ampiezza e diffusione del servizio scolastico–Offerta di istruzione

Caratteristiche socio-economiche-culturali delle famiglie–Background socio-economico-culturale familiare–Composizione del nucleo familiare–Spese delle famiglie per l'istruzione

Partecipazione della comunità alla scuola–Integrazione / coesione sociale / collaborazione–Partecipazione–Servizi aggiuntivi–Sovvenzioni allo studio

Scolarizzazione–Scolarizzazione in ciascuna tappa educativa–Titolo di studio della popolazione adulta

Aspetti demografici / economici della popolazione–Popolazione in età scolare–Stato occupazionale della popolazione–Sviluppo demografico

RISULTATI

Esiti più generali o outcome–Successo / insuccesso scolastico

Qualità percepita dell’offerta–Soddisfazione degli utenti della scuola

Risultati diretti dell’istruzione o output–Competenze cross-curricolari–Livello degli apprendimenti relativi alle materie scolastiche–Livello delle competenze chiave possedute–Opportunità di apprendere

Risultati sociali o indicatori di impatto–Esiti delle politiche delle pari opportunità–Esiti sociali

PROCESSIProcessi a livello di classe

–Flessibilità organizzativa e didattica–Strategie didattiche–Sostegno, guida e supporto–Uso del tempo

Processi a livello di scuola–Capacità di investire–Clima di scuola–Collaborazione fra insegnanti–Continuità lavorativa –Diversificazione delle fonti di finanziamento–Equilibrio della gestione finanziaria–Formazione e aggiornamento del personale docente–Forme di valutazione interna / autovalutazione–Modi di affrontare situazioni di tipo problematico–Offerta formativa–Pari opportunità –Progettazione del curricolo e dell’azione didattica –Progettazione POF–Progettualità strategica–Stato / manutenzione delle strutture scolastiche–Stili di direzione / coordinamento–Uso dello spazio e delle infrastrutture–Utilizzo della valutazione

Processi a livello di scuola e del territorio–Partecipazione e coinvolgimento del territorio

INPUT

Risorse delle scuole–Caratteristiche delle scuole

Risorse economiche / finanziarie–Disponibilità di risorse per le scuole–Spesa pubblica

Risorse materiali–Biblioteca–Dotazioni informatiche–Spazi

Risorse umane–Assenteismo–Caratteristiche del dirigente–Caratteristiche del personale–Stabilità del personale docente e dirigente

Studenti–Attitudine e comportamento degli studenti–Caratteristiche degli studenti–Percorso di studi

ValSiS Macroaree - Aree

Elaborazione

ValSiS – INVALSI

2010