28
Siniscalco, INVALSI 29-4- 2009 Maria Teresa Siniscalco Maria Teresa Siniscalco Le valutazioni internazionali Le valutazioni internazionali INVALSI, 29 aprile 2009 INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Embed Size (px)

Citation preview

Page 1: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

Maria Teresa SiniscalcoMaria Teresa Siniscalco

Le valutazioni internazionaliLe valutazioni internazionali

INVALSI, 29 aprile 2009INVALSI, 29 aprile 2009

Page 2: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

Perché confrontarsi con altri Paesi

Diversi approcci alla valutazione dei risultati

Risultati  

Page 3: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

Perché confrontarsi con altri Paesi

Diversi approcci alla valutazione dei risultatiDiversi approcci alla valutazione dei risultati

RisultatiRisultati

Page 4: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

- 750 pp di rassegna stampa

- 51.000 visite sito OCSE in un giorno

- 23.000 rapporti scaricati in una settimana

Pubblicazione dei risultati di PISA 2003

Page 5: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

Paesi partecipanti a PISA 2006

Come si è arrivati qui?

Page 6: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

Le indagini internazionali sui risultati scolastici- tappe

- Contesto: dubbi su indicatori di efficacia dei sistemi scolastici

- Anni ’50: gruppo di esperti di valutazione ad Amburgo

- IEA: 1958 studio pilota (1959-1962), dal ’60 a oggi 27 indagini + 5

- Seconda metà anni ’80: più interesse

- Anni ’90: OCSE: Education at a Glance (1992), UE: Key data on education (1994),

TIMSS (1995, 45 paesi), 1997: Paesi dell’OCSE approvano la proposta di PISA

Page 7: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

Perché confrontarsi?

Page 8: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

- ottenere dati comparabili sulle prestazioni degli studenti- ottenere quadro di riferimento per individuare punti di

forza e di debolezza del proprio sistema scolastico

- Individuare fattori antecedenti e correlati del profitto scolastico…

- … e vedere in che misura essi operino nello stesso modo in diversi contesti…

- … per rendere più informato il lavoro dei decisori pubblici- confronto di curricoli (IEA) o obiettivi educativi (PISA)- (PISA) monitorare i risultati dei sistemi scolastici nel

tempo - progresso metodologia

tradizioni e leggi … cosa è consentito, i sistemi di istruzione al di fuori dei confini nazionali … cosa è possibile

(Foshay 1962)

Obiettivi delle indagini internazionali

Page 9: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

PerchPerché cé confrontarsi con altri Paesionfrontarsi con altri Paesi

Diversi approcci alla valutazione dei risultati

RisultatiRisultati

Page 10: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

IEA: padronanza del curricolo

Page 11: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

In PISA la valutazione…

...ma sulla “preparazione per la vita” in una prospettiva di lifelong learning e di esercizio attivo della cittadinanza

... non è incentrata sulla padronanza di parti del curricolo...

Perché?PISA verifica la capacità di utilizzare conoscenze PISA verifica la capacità di utilizzare conoscenze e e abilità per affrontare problemi simili a quelli della vita abilità per affrontare problemi simili a quelli della vita realereale

- Crescita esponenziale informazione

- Percorsi lavorativi meno lineari

- Evoluzione del mercato del lavoro

Page 12: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

PerchPerché cé confrontarsi con altri Paesionfrontarsi con altri Paesi

Diversi approcci alla valutazione dei risultatiDiversi approcci alla valutazione dei risultati

Risultati risultati in termini di qualità e equità fattori in relazione con i risultati approfondimenti a partire dai dati

Page 13: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

TIMSS 2003

Page 14: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

300 350 400 450 500 550 600

FinlandiaHong Kong

CanadaGiappone

Nuova ZelandaAustralia

Paesi BassiCorea

NORD ESTGermania

Regno UnitoRep. Ceca

SvizzeraAustriaBelgioIrlanda

UngheriaSvezia

NORD OVESTPolonia

DanimarcaFranciaIslanda

Stati UnitiRep. Slovacca

SpagnaNorvegia

CENTROITALIA

PortogalloGrecia

SUDSUD ISOLE

TurchiaMessico

PISA 2006 - Scienze

Page 15: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

Dati OCSE- PISA 2003

Rapporto per le scuole PISA 2003

MediaErr Std (Media)

Dev std Err Std (Dev std)

Liceo “XXX” 560,32 6,55 55,59 3,18

Licei Nord Ovest 555,7 8,1 79,1 2,9

Licei 502,6 5,9 89,0 3,9

Nord Ovest 510,3 5,1 91,5 2,7

Italia 465,7 3,2 95,7 1,9

Media Paesi OCSE 500 0,6 100 0,4

Scala Lettura

MediaErr Std (media)

Dev std Err Std (Dev std)

Liceo “XXX” 558,81 10,8 67,8 8,1

Licei Nord Ovest 563,2 3,8 69,8 2,2

Licei 525,44 4,27 82,0 2,6

Nord Ovest 510,93 4,37 93,3 3,6

Italia 475,66 3,04 100,7 2,2

Media Paesi OCSE 494 0,6 100 0,4

Scala Matematica

Page 16: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

Dati OCSE- PISA 2003

Rapporto per le scuole PISA 2003

Scala Scienze

MediaErr Std (Media)

Dev std Err Std (Dev std)

Liceo “XXX” 568,9 11,8 81,3 13,3

Licei Nord Ovest 581,2 6,4 81,9 2,6

Licei 530,7 5,4 95,1 3,4

Nord Ovest 533,1 5,2 101,0 3,4

Italia 486,4 3,1 107,8 2,0

Media Paesi OCSE 500 0,6 105 0,4

Indice di Status Socio-economico e culturale

MediaErr Std (media)

Dev std Err Std (Dev std)

Liceo “XXX” 0,37 0 1,07 0,00

Licei Nord Ovest 0,53 0,05 0,9 0,02

Licei 0,42 0,04 0,97 0,02

Nord Ovest 0,06 0,04 0,95 0,02

Italia -0,11 0,02 1,02 0,01

Media Paesi OCSE 0 0,01 1 0

Page 17: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

“Scale” e frameworks

Con le prove sono inoltre costruite le cosiddette “scale” sulle quali sono rappresentati diversi livelli di difficoltà dei quesiti che corrispondono ad altrettanti livelli di capacità da parte degli studenti

Per approfondire questi aspetti sono disponibili i quadri di riferimento della valutazione e gli esempi di prove pubblicati in ciascun indagine

Page 18: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

A livello internazionale IRLANDA: analisi del rapporto tra il curricolo di matematica della scuola secondaria inferiore e il framework di PISA.

In Italia, ad esempio PIEMONTE: MAP - Miglioramento degli Apprendimenti di base e valutazione internazionale Ocse-Pisa.

Dalla valutazione al miglioramento passando per l’analisi dei curricoli e delle metodologie

o attività di studio e ricerca-azione o prove come situazioni didattiche o confronto tra programmazione curric. e competenze (framework)o analisi dei fattori di efficaciao 4 gruppi (lettura, matematica, scienze e fattori di sfondo)

Studi a partire dai frameworks di PISA

Page 19: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

L’impatto del background

In PISA il funzionamento del sistema non è valutato solo in relazione al livello dei risultati, ma anche alla capacità del sistema di moderare l’impatto del background sui risultati, cioè alla sua equità

Page 20: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

Perché confrontarsi con altri Paesi

Diversi approcci alla valutazione dei risultati

Risultati  risultati in termini di qualità e equità fattori in relazione con i risultati

approfondimenti a partire dai dati  

Page 21: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

Fattori a livello di Fattori a livello di studentistudenti associati con una risultati associati con una risultati elevati di lettura elevati di lettura

Interesse per la letturaInteresse per la lettura• Gamma ampia di interessi di lettura (IEA-71)Gamma ampia di interessi di lettura (IEA-71)• Tempo dedicato alla lettura volontaria (IEA-RLS 90)Tempo dedicato alla lettura volontaria (IEA-RLS 90)• Coinvolgimento nella lettura (PISA 2000)Coinvolgimento nella lettura (PISA 2000)

Page 22: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

Fattori a livello di Fattori a livello di classe e scuolaclasse e scuola associati con una associati con una competenza elevata – analisi internazionalecompetenza elevata – analisi internazionale

Scuole efficaci (a livello di istruzione primariaScuole efficaci (a livello di istruzione primaria) ) • Studenti leggono molto in classe...Studenti leggono molto in classe...• ... ricevono molti compiti di lettura ...... ricevono molti compiti di lettura ...• ... e molte domande in classe sui compiti svolti... e molte domande in classe sui compiti svolti• Insegnanti danno molta importanza a comprensione della Insegnanti danno molta importanza a comprensione della

lettura...lettura...• ... verificano spesso il lavoro degli studenti...... verificano spesso il lavoro degli studenti...• ... hanno maggiore esperienza di insegnamento...... hanno maggiore esperienza di insegnamento...• ... leggono molto essi stessi... leggono molto essi stessi• Dirigenti si preoccupano per le risorse...Dirigenti si preoccupano per le risorse...• ... e realizzano nella scuola programmi di “supporto” per la ... e realizzano nella scuola programmi di “supporto” per la

letturalettura• Importanza della continuità dell’insegnante nella classeImportanza della continuità dell’insegnante nella classe

IEA-RLSIEA-RLS

Page 23: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

Fattori a livello di Fattori a livello di classe e scuolaclasse e scuola associati con una associati con una competenza elevata – analisi internazionalecompetenza elevata – analisi internazionale

Alcuni dati che emergono dall’analisi multilivelloAlcuni dati che emergono dall’analisi multilivello(+)(+)• Clima disciplinare (lettura e matematica)Clima disciplinare (lettura e matematica)• FattoriFattori legatilegati a all’insegnante che condizionano il clima ll’insegnante che condizionano il clima

scolastico (lettura e matematica)scolastico (lettura e matematica)• Attività extra-curricolari legate a lettura, matematica e Attività extra-curricolari legate a lettura, matematica e

scienzescienze• Un’ora supplementare di insegnamento (scienze)Un’ora supplementare di insegnamento (scienze)• Autonomia delle scuole nella gestione del budget Autonomia delle scuole nella gestione del budget

(scienze)(scienze)

(-)(-)• Scuole che raggruppano studenti per abilità (scienze)Scuole che raggruppano studenti per abilità (scienze)

PISAPISA

Page 24: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

Perché confrontarsi con altri Paesi

Diversi approcci alla valutazione dei risultati

Risultati  risultati in termini di qualità e equità fattori in relazione con i risultati approfondimenti a partire dai dati

Page 25: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

Studi di casoStudi di caso

PIRLS 2001PIRLS 2001

PIRLS 2006PIRLS 2006

Page 26: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

Nonostante aumenti della spesa e riforme strutturali in molti Paesi i risultati non sono migliorati...

Fattori strutturali?Fattori strutturali?

Sistemi migliori sono accomunati da attenzione a processi di insegnamento/apprendimento

Il miglioramento passa per quello che Il miglioramento passa per quello che succede in classe e a scuolasuccede in classe e a scuola

- Investire su insegnanti e dirigenti

- Mettere al centro dell’attenzione i risultati

- Creare condizioni per offrire a tutti un’istruzione di qualità

Approfondimenti a livello internazionaleApprofondimenti a livello internazionale

Page 27: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

Concludendo...Concludendo...

... le indagini internazionali portano un contributo specifico e essenziale...

e

... sono una miniera di dati, che interessano in primo luogo i decisori pubblici, ma anche i dirigenti, gli insegnanti, i genitori e gli studenti

Page 28: Siniscalco, INVALSI 29-4-2009 Maria Teresa Siniscalco Le valutazioni internazionali INVALSI, 29 aprile 2009

Siniscalco, INVALSI 29-4-2009

GRAZIEGRAZIE

[email protected]@aol.com