Valutazione  scolas.ca  interna  ed  esterna,  l’esperienza  olandese  

Jaap  Scheerens  

J.Scheerens@utwente.nl  

Presenta.on  at  Palermo  

4  maggio,  2012  

CONTENUTI  

•  Valutazione  delle  scuole  nei  Paesi  Bassi  •  Valutazione  interna  ed  esterna  delle  scuole,  definizioni  

•  La  rendicontazione  esterna  e  la  sua  efficacia  

•  Esperienze  internazionali  di  autovalutazioni  scolas.che;  meta  analisi  

•  ProspeNve  future  

Istruzione obbligatoria

IL  SISTEMA  DI  VALUTAZIONE  DELLE  SCUOLE  NEI  PAESI  BASSI  

•  A  livello  degli  alunni:  esami  scuole  secondarie,  test  a  conclusione  della  scuola  primaria,  sistemi  di  monitoraggio  alunni  scuole  primarie  e  secondarie.  

•  A  livello  della  scuola:  ispezioni,  autovalutazione  della  scuola,  “Finestre  per  la  rendicontazione  pubblica”  

•  A  livello  di  sistema  scolas.co:  accertamento  nazionale  periodico,  studi  diacroniche  delle  “coorte”,  sta.s.che  e  indicatori  di  istruzione,  accertamen.  internazionali,  report  annuale  dell’IspeYorato.  

LA  VALUTAZIONE  SCOLASTICA  NEI  PAESI  BASSI  

•  Le  scuole  sono  responsabili  della  propria  qualità,  sono  obbligate  a  formulare  un  piano  scolas.co  annuale,  l’autovalutazione  delle  scuole  è  stata  fortemente  sollecitata  nei  primi  5  anni  del  2000.  

•  Di  recente  le  scuole  sono  state  esternamente  supportate  nella  loro  “rendicontazione  orrizzontale”  da  una  unità  del  Ministero  e  da  “Organiza.ons  of  school  governors”.  

•  L’IspeYorato  fa  delle  ispezioni  nelle  scuole  basate  su  specifiche  linee  di  controllo,  aspeN  e  indicatori  di  qualità.  

Ispezioni  seleNve  •  Controllo  seleNvo  della  scuola:  non  tuYe  le  scuole  sono  controllate  con  lo  stesso  grado  di  frequenza  e  intensità.  

•  Ispezione  “proporzional“  al  livello  dell’aYenzione  dei  processi  della  qualità  interna  (quando  in  ordine:  minore  frequenza).  Questo  .po  di  approccio  è  stato  interroYo.  

•  ”Ispezioni  focalizzate  sui  rischi":  screening  generale  sui  risulta.,  se  le  scuole  sono  molto  deboli,  le    ispezioni  sono  frequen.  ed  in  profondità.  

Windows  for  Accountability  (Finestra  per  la  rendicontazione)  

•  Il  falimento  dell’ispezione  proporzionale    sull’autovalutazione  e  la  creazione  delle  “Finestre  di  Rendicontabilita”,  segnalano,  tuYe  e  due,  una  certa  delusione  sulla  ges.one  autonoma  della  valutazione  interna.  

•  Nelle  “Finestre”  le  scuole  oYengono  da.  e  indicatori  di  base  per  la  loro  scuola  dal  “DUO”,  l’unità  da.  del  Ministero  dell’Istruzione,  insieme  ad  altri  da.  richies.  da  agenzie  di  consulenza  pagate  dalle  organizzazioni  dei  governatori  della  scuola.  

Definizione della valutazione esterna e interna

Attività chiave della valutazione

Valutazione esterna

Valutazione interna

Avviare la valutazione e affidarne l’esecuzione

Agenti esterni Agenti interni

Processi tecnici Agenti esterni Agenti interni Agenti esterni

Dare informazioni Agenti interni Agenti interni

Uso e applicazione dei risultati

Agenti esterni Agenti interni

Agenti interni

Valutare per Gestire la Scuola

•  Governance, Leadership e Qualita Educativa

•  A cura di: •  Jaap Scheerens, Silvana Mosca e

Raimondo Bolletta •  http://www.brunomondadori.com/

•  Capitolo 4.

2 Contesti di applicazione

•  Rendicontazione •  Apprendimento organizzativo

Definizione di rendicontazione

In termini generali, la rendicontazione si riferisce alla responsabilità che le istituzioni e i servizi pubblici hanno della qualità e svolgimento delle loro prestazioni. Secondo Glass (1972) la rendicontazione include alcuni livelli debolmente interconnessi: la trasparenza riguardo ai prodotti e servizi che vengono forniti; il testing del prodotto o della prestazione e la correzione di una prestazione insoddisfacente.

“Tipi di rendicontazione”

•  Controllo amministrativo (ricompense e sanzioni finanziarie)

•  Prospettiva del cliente (i clienti dell’educazione votano rimanendo o andandosene dalla scuola)

•  La prospettiva professionale (Elmore et al. 1990) manca dell’elemento di “correzione” e si avvicina all’apprendimento organizzativo

Due tipi principali di impatto

•  Solo informativo, ad esempio classifiche, schede di valutazione

•  Che implica conseguenze ad alto rischio, quando ci sono chiari incentivi o sanzioni

Due forme principali

•  Rendicontazione basata sui test (Carnoy et al. 2003)

•  Ispezioni scolastiche (De Wolf e Janssens, 2006)

I sistemi di rendicontazione influiscono sui risultati degli

studenti?

Hanushek and Raymond,2005 •  I sistemi di rendicontazione che implicano

delle conseguenze hanno un significativo impatto positivo sulla prestazione media. (0,22 sd)

•  La differenza di successo fra gruppi etnici è aumentata quando sono stati messi in atto dei sistemi di rendicontazione.

•  L’impatto del comportamento strategico delle scuole è sopravvalutato.

Jacob, 2005 •  Notevole aumento dei punteggi nei test

(matematica e lettura) nelle scuole di Chicago dopo l’introduzione di un sistema di rendicontazione (.20 - .31 sd)

•  Il miglioramento nei risultati dei test potrebbe essere attribuito: -  ad abilità specifiche rispetto ai test -  all’impegno degli studenti -  a un comportamento strategico (ripetizione di

classi, sistemazione in classi speciali)

Risultati chiave dello studio di Carnoy et al. (2003)

•  Fra 4 stati, lo stato (Texas) nel quale il testing era ad alto rischio per le scuole e gli studenti, è quello che ha registrato il maggior miglioramento nei risultati degli studenti (cf Rand News Release, July 25, 2000)

•  La rendicontazione esterna funziona meglio per le scuole nelle quali viene già attuata una “rendicontazione interna"

Definizione di apprendimento organizzativo

•  Miglioramento scolastico stimolato dall’uso dei dati e dal feedback sulla performance

•  Ideale della scuola come organizzazione che apprende

•  Miglioramento sostenuto dei processi primari (insegnamento e apprendimento) e secondari (processi organizzativi)

TIPI DI AUTOVALUTAZIONE

•  GRIGLIE: Stiamo facendo bene? Come potremmo fare meglio? Opinioni

•  Sistemi di informazione del Management Scolastico; procedure amministrative

•  Sistemi di monitoraggio degli alunni; dati ricavati dai test, punteggi

•  Set integrato di strumenti: test, questionari, osservazioni

Effetti dell’autovalutazione della scuola

a)  Esperienze di auto-valutazione b)  Risultati dalla ricerca sull’efficacia

della scuola

VALUTAZIONE DELL’AUTOVALUTAZIONE DELLA SCUOLA

NEI PAESI BASSI DA PARTE DELL’ISPETTRORATO •  Lento miglioramento in un certo numero di scuole che,

secondo l’ispettorato, tengono in buon conto la cura della qualità:

•  Nel 2003, per es., il 13% delle scuole primarie avevano un sistema di cura della qualità che soddisfaceva l’intero set di indicatori sulla cura della qualità. Il 26% delle scuole hanno soddisfatto i requisiti minimi per assicurarsi la qualità (Fonte, Hendriks, 2005). Nel 2010 poco più del 50% di tutte le scuole primarie e secondarie hanno soddisfatto tutti gli indicatori . Questo è un chiaro miglioramento ma ancora lontano dallo standard dell’80%, da raggiungere nel 2012, come indicato nei Piani Azione Qualità del Ministero dell’Istruzione.

RISULTATI  DEGLI  STUDI  SULLA  VALUTAZIONE  

•  Kim  Schildkamp,  evalua.on  of  ZEBO,  2007  •  Blok  et  al.,  2011  

Risultati del monitoraggio di meta-analisi

Scheerens and Bosker, 1997 .15 N= 38

Witziers, Scheerens and Steen, 2006

.09 N= 41

Scheerens and Steen, 2006 (monitoraggio a livello di classe)

.06 N= 67

Studio di Kim Schildkamp

•  Soltanto una minoranza delle scuole (10%) ha usato i risultati dell’autovalutazione in modo intensivo

•  Nel tempo (2003 -2006) c’è stato un incremento statisticamente significativo nel punteggio degli insegnanti nell’uso strumentale di ZEBO

•  I dirigenti scolastici hanno usato i risultati più degli insegnanti

•  Nessun effetto sui risultati degli studenti

Studio di Blok et al., 2011 •  Blok, Sleegers e Karsten, 2008. Sulla base di

uno studio in 27 scuole primarie olandesi, sostengono che i loro risultati dimostrano che le autovalutazioni delle scuole sono state spesso di bassissima qualità.

•  Secondo questi autori l’autovalutazione è un compito molto difficile per la maggior parte delle scuole.

•  Raccomandano, quindi, supporto esterno per un lungo periodo di tempo al fine di migliorare questo stato di cose.

Studio di Visscher and Ehren, 2011 •  “Scarsa utilizzazione dei sistemi del

monitoraggio degli alunni” •  Le scuole fanno uso limitato dei sistemi di

analisi disponibili; le analisi diacroniche non vengono effettuate di frequente.

•  “Imperfezioni nell’immagazzinamento e nel recupero dei dati dei test; cosicché, p.es., talvolta è impossibile recuperare una visione di insieme degli items in cui gli alunni hanno fallito

•  Errori nell’interpretare i risultati LVS, per cui può succedere che gruppi che avrebbero bisogno di speciale attenzione non vengono notati.

•  I risultati LVS, sono utilizzati maggiormente per la rendicontazione all’esterno nei confronti dei genitori e dell’Ispettorato, che rispetto ad un uso mirato al recupero di tutti gli studenti, non soltanto di quelli con performances estremamente basse.

•  Le scuole spesso hanno poco tempo per discutere i risultati LVS nel gruppo staff, figuriamoci per la definizione di misure volte a migliorare performance.

Conclusioni valutazione/feedback

•  L’implementazione di un’autovalutazione dal basso verso l’alto è un processo lento, pochi studi riferiscono (piccoli effetti) sui risultati.

•  Impatto del monitoraggio sui risultati a livello della scuola: meta-analisi mostrano un effetto scarso o molto scarso sul risultato.

Riepilogo: a che punto siamo? •  Opinione diverse verso la valutazione esterna

della scuola orientato sulla rendicontazione; influenza positiva sui risultati delle scuole.

•  Eccetto alcuni casi di successo, emerge una generale delusione della commissione per i risultati sulla auto valutazione

•  Rimangono due domande: a) la valutazione esterna potrebbe stimolare

la valutazione interna? b) come potrebbe essere migliorata

l’autovalutazione interna delle scuole?

La rendicontazione interna come ponte fra la valutazione

interna e esterna della scuola

Rendicontazione interna •  La varietà di modi, formali o informali, con

i quali le persone della scuola danno conto delle proprie azioni a qualcuno in una posizione di autorità formale all’interno o all’esterno della scuola.

•  Aumento in tutta la scuola della coerenza e dell’accordo sulle aspettative rispetto ai risultati degli studenti e alle pratiche didattiche.

Rendicontazione interna (cont’d) •  Visioni più condivise e coerenti rispetto ai

risultati che si attendono dagli studenti. •  Meccanismi interni che traducono questo

accordo in azioni: pratica didattica, processi di supervisione e di controllo, meccanismi che focalizzano le risorse sui contenuti e sugli alunni che necessitano lavoro supplementare.

Scuole con un’alta rendicontazione interna:

Corrispondono a concetti come : •  Scuole efficaci (Edmonds) •  Scuole “semi” (Slavin) •  Scuole con un alto potenziale valutativo

(Scheerens) •  Scuole con un alto livello di coerenza,

coesione e consenso (Creemers)

RISPOSTA ALLA DOMANDA a)

•  La valutazione esterna può motivare le scuole a mirare maggiormente al raggiungimento di risultati e ad usare la valutazione interna come un’importante strategia per determinare il conseguimento di risultati.

•  Le procedure per la valutazione esterna possono essere utilizzate come esempi o linee guida per strumenti di valutazione interna; talvolta si possono usare gli stessi strumenti per la valutazione sia interna che esterna.

MODALITA’ PIU’ INTRINSECHE AFFINCHE’ L’AUTOVALUTAZIONE

DELLA SCUOLA ABBIA PIU’ SUCCESSO; DOMANDA b)

•  Concentrarsi sul microlivello

•  Dati guida, approccio basato su test •  Valore aggiunto dei dati, cambio dei punteggi •  Supporto didattico da parte di esperti, o metodi

esperti (conoscenza degli approcci pedagogici)

•  Consultazione collegiale mirata all’analisi didattica, al feedback sull’insegnamento

•  Supporto dell’organizzazione e del management

Conclusioni •  Nelle culture dove sono possibili degli approcci

di rendicontazione ad alto rischio, la rendicontazione stimola il miglioramento attraverso un maggiore orientamento ai risultati.

•  L’implementazione dell’autovalutazione della scuola dal basso è una strategia debole per migliorare il rendimento degli studenti (probabilmente più forte se inquadrata in una Riforma Complessiva della Scuola)

•  Una combinazione di rendicontazione ad alto rischio e di incentivo all’autovalutazione potrebbe dare buoni risultati