WORKSHOP BANCA D’ITALIA - INVALSI

IL VALORE AGGIUNTO DELLE SCUOLE ITALIANE: COME MISURARLO?

Discussione del paper Falzetti-Ricci

Aline Pennisi Ministero dell’economia e delle finanze

Roma, 31 gennaio 2012

Il dibattito sull’utilizzo di misure del valore-aggiunto delle scuole racchiude considerazioni di tipo:

a. Metodologico:

• quale misura preferire / come calcolarla

• quali sono le assunzioni dietro i modelli per calcolare il valore-aggiunto

• quanto siano plausibili le assunzioni sottostanti e quale distorsioni si possono avere se tali assunzioni non sono valide

b. Applicativo:

• per aiutare le scuole a migliorare

• per meccanismi di accountability degli insegnanti e delle scuole

• per individuare aree di intervento

• come misura di outcome nella valutazione di specifici interventi

• per guidare la scelta di genitori …

Affronta il problema tramite un approccio contextualised value added ma …

• Mancano dati longitudinali sugli studenti (mentre misure individuali di abilità precedente sono predittori più forti dei risultati successivi …)

• Modello OLS vs. modello multi-level (per tenere conto della struttura gerarchia insita ai dati; in particolare il raggruppamento / le interdipendenze tra studenti in una stessa scuola)

• Stabilità delle stime nel tempo …

Falzetti & Ricci

Alcune delle assunzioni sottostanti • una scuola è ugualmente efficace per tutti i suoi studenti

• senza una misura individuale delle abilità precedenti si ipotizza assenza di effetto Matthew (vantaggi accumulati) nell’istruzione

• stabilità del “trattamento” per ciascuna unità (SUTVA / Rubin, 1976) ossia assenza di interazione tra il risultato di uno studente e il “trattamento” ricevuto da un altro studente

• I risultati osservati sono di lungo termine (non affetti da teaching to the test / manipolazioni)

• depurando dai fattori individuali e contestuali rimane davvero la scuola e ciò che la scuola può controllare ….

Le scuole funzionano in maniera simile da un anno all’altro ?

• In termini di intake sì … (il bacino di utenza e i fattori di contesto cambiano molto lentamente)

• In termini di insegnanti però forse no … (la forte mobilità fa si che cambiano più rapidamente di quanto non cambino le caratteristiche degli studenti, per lo meno nel nostro contesto e gli a gli stessi docenti potrebbero cambiare nel tempo la loro efficacia, chi acquisendo maggiore esperienza, chi risultando burned-out …)

Falzetti & Ricci

Ma le misure di valore aggiunto sono davvero unbiased e si può attribuire “l’effetto” alla scuola?

Non si possono condurre esperimenti controllati per stimare la misura del valore-aggiunto… c’è la possibilità di un fenomeno di autoselezione nascosto / incontrollabile …

• Nei modelli riusciamo a tenere in conto differenze osservate sul background / abilità degli studenti e dell’ambiente, ma non la distribuzione non-casuale di:

• studenti a scuole (fattore localizzazione / famiglie)

• studenti a specifici insegnanti nell’ambito di una scuola (fattore preside / famiglie)

• insegnanti a scuole (fattore preside / mobilità “inversa” degli insegnanti)

• generalmente, la maniera con cui trattare questo problema è controllare nel modello per variabili individuali relative all’abilità precedente ….

• anche se vi sono risultati contraddittori [Kane and Staiger 2008, Rothstein 2010]

• è più sono le misure utilizzare per controllare (background-socio economico, caratteristiche ambientali, peers, …) meno ci rimane un residuo = effetto scuola! (da qui la parsimonia del modello ….)

Questione generale …

Allora, alcune informazioni che si vorrebbero conoscere leggendo i risultati:

• distribuzione e trattamento dei dati mancanti (sono molto concentrati / correlati a fattori di contesto) ?

• fit del modello ed plausibile il “peso” del residuo?

• quanto “pesa” il residuo / effetto scuola rispetto al background socio-economico?

• precisione delle stime per scuole di piccole dimensioni ? (per le poche osservazioni possono ricadere più facilmente nelle code per effetto di noise statistico …)

• e sulle variabili esplicative:

• esistono correlazioni tra esplicative del contesto (come studenti immigrati e posticipatari)?

• ESCS: sebbene un indicatore composito basato su misure auto dichiarate, sembra migliore di indicatori amministrativi in uso in altri paesi (ma singole componenti come titolo di studio dei genitori?)

• Proxy scuola sul punteggio medio in ingresso, ma non un indicatore di varianza / range ? (la maggiore o minore omogeneità nella scuola / classe può giocare un ruolo importante …)

• Fattori territoriali del contesto (non controllabili dalla scuola) potrebbero nel caso italiano pesare?

• Correlazione tra punteggio grezzo e valore aggiunto calcolato (scuole classificate correttamente con entrambi i metodi 60% - 80% circa…)

Falzetti & Ricci

Ci sono motivazioni condivise per stime di valore-aggiunto delle scuole invece che degli insegnanti (soprattutto sotto il profilo di eventuali applicazioni non meramente informative) ma se crediamo che l’insegnante sia il fattore che più conta per l’apprendimento, stiamo anche cercando prima o poi valore-aggiunto degli insegnanti …

• Difficile individuare target sulla base del valore aggiunto, più facile sui livelli /punteggi grezzi

• Combinare misure come quelle del valore-aggiunto a osservazioni in classe e valutazioni del dirigente scolastico …

• D’altra parte, nel settore privato a fronte di lavori complessi si fa raramente uso di sole misure quantitative: i datori di lavoro dedicano sforzi a raccogliere valutazioni soggettive dei responsabili e dei colleghi… Nel caso dell’insegnamento è più difficile perché si insegna da soli - servono visite più frequenti del dirigente e degli ispettori (richiede risorse umane e finanziare “notevoli”)

• Capire la correlazione tra giudizi di esperti e le misure di valore aggiunto (nel caso del valore aggiunto degli insegnanti diverse esperienze USA mostrano che i dirigenti scolastici individuano “bene” le categorie estreme [Jacob & Lefgren (2006) Harris & Sass (2007)])

Alcune considerazioni sull’uso del valore aggiunto