1

Quadro europeo dei sistemi di valutazione nella formazione iniziale

appunti a cura di Arduino Salatin

Seminario tecnicoLa valutazione degli

apprendimenti nel sistema educativo italiano

Sala Auditorium ISFOL - 28 marzo 2014

2

La valutazione nei e dei sistemi formativi richiede una lettura multidimensionale e multilivello in quanto l’education è un processo e «oggetto» complesso…

Valutazione delle azioni formative (processi, risultati,

impatto, …)ivi

Valutazione dell’offerta formativa

Valutazione interna e/o esterna dell’istituto/

Centro/servizio

AccreditamentoCertificazione

Audit, …

Valutazione degli apprendimenti

Livelli e oggetti di valutazione dei/nei sistemi formativi

Valutazione di sistema

Sistemi assicurazione e/o gestione

qualità

4

Oggi si chiede che la formazione/istruzione sia sempre più improntata alla qualità intesa come efficacia, efficienza, utilità rispetto alla vita personale, sociale, lavorativa delle persone che la frequentano.

Valutare la qualità del /nel sistema istruzione e formazione

5

Per questo «la qualità della formazione non si riduce ai processi ed alle relazioni di tipo didattico, … ma è funzione anche di un insieme di fattori che caratterizzano un evento formativo contestualizzato in un dato ambiente organizzativo»

(Isfol ,2011, p.11)

6

«Valutare la qualità» di un sistema educativo non è

però una cosa semplice ….

7

Nel campo dell’analisi dei contesti educativi complessi, la valutazione può essere definita come una“raccolta sistematica di dati secondo strumenti affidabili, interpretazione di tali “dati” in vista di un impatto di cambiamento sulla situazione di partenza” (Beeby, 1977 ; Wolf, 1987).

Per fare questo lavoro esistono diversi modelli e strumenti.

8

Esempio di modello di valutazione di un sistema formativo

9

Rispetto ai modelli di organizzazione, e dunque agli approcci possibili di valutazione della qualità, le istituzioni scolastiche e formative, in quanto «servizi», presentano tuttavia alcuni elementi di specificità rispetto ad altre organizzazioni:

10

- uno scarso controllo sull’”input” (gli studenti) e sulla risorsa umana (gli insegnanti/formatori) e dunque una minore governabilità complessiva del sistema

- una difficile applicabilità della strategia del «miglioramento continuo», data la variabilità dell’utenza e del personale

- un rapporto «continuativo» e non occasionale con il «cliente»,

- una certa ambiguità del concetto di “servizio per l’utente” soprattutto dove si tratta di istituzioni per la istruzione/formazione obbligatoria

11

Differisce anche il rapporto tra micro e macro sistemi; ad esempio tra:

Il sistema didattico generale misurare e certificare i risultati di apprendimento degli

studenti valutare gli esiti o giudicare le persone (gli alunni, gli

insegnanti)? Valutare il merito? 

Il sistema di relazioni tra gli attori educativi la valutazione «formativa» (a partire dal

riconoscimento dell’ asimmetria educatore – educando)

La valutazione dei singoli vs la valutazione del gruppo

12

Ad esempio: i buoni risultati di apprendimento degli allievi generano “automaticamente” buone ricadute del servizio formativo?

(in senso diacronico e a livello di sistema)

Risulta spesso problematica la valutazione dei risultati e delle ricadute:

13

Di qui la necessità di:

Porre più attenzione alla natura comunicazionale della valutazione, in direzione sia della soggettività (auto-valutazione) che della intersoggettività (co-valutazione e negoziazione sociale).

ampliare l’orizzonte della valutazione dai risultati alle ricadute : ciò è utile anche per precisare i “fini in vista di” (Dewey) che guidano l’agire valutativo nei contesti concreti.

(cfr. La legittimazione scientifica del costrutto di «ricaduta»: l’approccio delle capability di Sen e Nussbaum)

14

Quattro prospettive di equità formativa

A. Sen, Equality of What? In: Tanner Lecture on Human Values, Stanford University, May 22, 1979, University of Utah Press, Salt Lake City 1980

15

La valutazione dei sistemi formativi

Secondo Giorgio Allulli (2012), esistono due principali modelli in questo campo:

- i modelli ispirati alla gestione manageriale di derivazione industriale,

- i modelli “input-output», ispirati alle scienze economiche e sociali.

16

E’ un approccio ispirato alla gestione della qualità (intesa come capacità di rispondere alle attese implicite ed esplicite del sistema degli attori coinvolto nel servizio), E’ centrato sulla valorizzazione e sul controllo delle risorse, dei processi, dei prodotti e delle relazioni con il territorio in cui è presente ed opera l’organizzazione di formazione.

Questi modelli, che derivano culturalmente dal mondo della produzione, hanno avuto particolare diffusione nel sistema delle aziende e in quello della formazione professionale

a) Il modello «manageriale»

17

18

Questo tipo di approccio è orientato a considerare l’organizzazione di formazione/istruzione secondo uno schema di “input-output”, abitualmente utilizzato nell’ambito delle discipline scientifiche e tecnologiche, importato successivamente dalla scienza economica e da quella sociale.

Questi modelli hanno trovato particolare attenzione da parte del sistema di Istruzione.

b) Il «modello input-output»

19

Indicatore Tipo di indicatore

Finalità della policy

Indicatori generali per l'assicurazione della qualitàN. 1 - Diffusione dei sistemi di garanzia della qualità per gli erogatori di istruzione e formazione professionale:a) quota di erogatori di istruzione e formazione professionale che applicano sistemi di garanzia della qualità definiti dalla legislazione o di loro iniziativa

b) quota di erogatori di istruzione e formazione professionale accreditati

Indicatore di contesto/di

input

Promuovere la cultura del miglioramento della qualità a livello di erogatori di istruzione e formazione professionale

Aumentare la trasparenza della qualità della formazione

Migliorare la fiducia reciproca sull'offerta formativa

N. 2 - Investimento nella formazione degli insegnanti e dei formatori: a) quota di insegnanti e di formatori che partecipano a una formazione ulteriore

b) ammontare dei fondi investiti

Indicatore di input/process

o

Responsabilizzare insegnanti e formatori nel processo di sviluppo della qualità dell'istruzione e formazione professionale

Migliorare la rispondenza dell'istruzione e formazione professionale all'evoluzione della domanda del mercato del lavoro

Accrescere la capacità di apprendimento individuale

Migliorare i risultati ottenuti dai discenti

esempio

2020

APPROCCIO EFQM - MODELLO C.A.F.

Risultati relativi alle performance

chiave

Risultati relativi al personale

Risultati orientati a

discenti -famiglie

Risultati relativi alla

societàPartnershipe risorse

Politiche e strategie

Personale

Innovazione e apprendimento

RisultatiFattori abilitanti

Leadership Processi

DIDATTICAESITI DI

APPRENDIMENTOMISSION DELLASCUOLA

RENDICONTAZIONESOCIALE

CONTESTO

21

Secondo Allulli, tra queste due tipologie di dispositivi valutativi non sono avvenuti molti scambi ed anzi il più delle volte si sono create delle paratie impermeabili, come se in effetti appartenessero a culture non solo diverse, ma addirittura antagoniste.

22

A livello europeo esiste un importante riferimento, a partire dalla:

Raccomandazione del Parlamento Europeo e del Consiglio sull’Istituzione di un Quadro Europeo di riferimento per l’Assicurazione della Qualità dell’Istruzione e della Formazione Professionale (EQAVET), approvata il 18 giugno 2009.È uno strumento per la garanzia e di miglioramento della qualità dei sistemi formativi e si basa su 4 fasi essenziali.

Il «Quadro di riferimento» europeo

23

incoraggiare la mobilità e l’apprendimento permanente attraverso la messa in trasparenza di qualifiche e competenze;

migliorare la qualità dei sistemi di istruzione e formazione professionale;

favorire l’accesso personalizzato di tutti i cittadini ai percorsi di istruzione e formazione superiori attraverso il riconoscimento e la validazione dell’apprendimento non formale e informale;

definire un approccio comune per il trasferimento dei risultati dell’apprendimento tra i diversi sistemi;

definire un codice di riferimento comune per i sistemi di istruzione e formazione basato sui risultati dell’apprendimento.

La «Dichiarazione di Copenhagen» come base di riferimento (2002)

24

EQARF

(European Quality

Assurance Reference

Framework)

Oggi questo dispositivo è stato ridefinito nell’

25Fonte: Quality Regimes in Vocational Education and TrainingPaper for CARMA’s 25th Anniversary Conference, Aalborg University, October 10. 2008

26

Possiamo distinguere una prima fase, situabile tra gli anni Novanta ed i primi anni Duemila, segnata in particolare dall’avvio dell’indagine PISA (Programme for International Student Assessment),

Essa ha per fulcro la predisposizione di dispositivi per la misurazione dei risultati (outcomes) dei sistemi educativi, mediante l’assessment ciclico di set distinti di competenze piuttosto che sui contenuti curricolari.

I modelli di valutazione proposti dall’OCSE

Fonte. Dordit, Salatin (2012)

27

A partire dal 2005, possiamo individuare una seconda fase in cui si assiste alla pubblicazione di una serie di attività di ricerca di carattere settoriale, che pongono a fuoco di volta in volta componenti distinte del sistema educativo.

L’opera di indagine comparata a livello internazionale è accompagnata dall’offerta di elementi diretti al miglioramento delle policy praticate presso i diversi contesti nazionali o sub-nazionali, sia sul piano della riflessione teorico-metodologica che sotto il profilo della governance.

E’ questo il caso ad esempio dei programmi di ricerca sugli aspetti della valutazione applicata alla misurazione della performance degli insegnanti.

28

Inoltre va richiamata l’analisi internazionale sulla valutazione delle istituzioni scolastiche che si propone di ricostruire le più significative pratiche, sia sul versante della valutazione interna di istituto che della valutazione esterna svolta ad opera di organismi governativi o di agenzie e autority indipendenti.

In tale filone rientra anche il più recente filone centrato sulla valutazione del valore aggiunto, tesa a misurare l'impatto delle singole istituzioni scolastiche e formative sui risultati conseguiti dagli studenti, costruite in modo da isolare il contributo della singola istituzione scolastica dai fattori di carattere socio-economico che influenzano gli apprendimenti degli allievi.

System/Schools Resources Classes1. Educational standards2. School autonomy3. Institutional differentiation4. Public/private school5. School size6. School admittance policy

1. Number of qualified teachers

2. Physical infrastructures

3. Learning time4. ICTs5. Curriculum

1. Size2. Discipline3. Student

support4. Pedagogy

Teachers Students Parents1. salary and working

conditions2. Motivation3. Education/ development4. Teachers assessment

1. Motivation2. Sense of belonging3. Students

assessment 4. Students-teachers

relations

1. Expectations2. Involvement

I 25 fattori che, secondo l’OCSE, possono influenzare la performance scolastica degli

studenti (individuati a partire dai risultati delle rilevazioni PISA)

Bernard Hugonnier, Pisa and the performance of educational systems,

(2009)

esempio

30

High influence Low influence Undetermined influence

1. Educational standards

2. School autonomy3. Institutional

differentiation4. Learning time5. Discipline6. Student support7. Students-

teachers relations

1. Number of qualified teachers

2. School size3. Public/private schools4. School admittance

policy5. Students interest6. Students’ sense of

belonging7. Student evaluation8. Parents involvement

1. Physical infrastructures

2. ICTs3. Classes size4. Teachers’

motivation5. Parents’

expectations

Livello di influenza associato ai vari fattori

esempio

31

È articolato su:

COMPARATIVE ANALYSIS

COUNTRY REVIEWS

Il modello di review

L’ OECD Review on Evaluation and Assessment Frameworks for Improving School Outcomes (2009)È un quadro di riferimento basato sulle prospettive di accountability e di improvement dei sistemi educativi.

32

Le componenti fondamentali del modello sono articolate su 5 dimensioni:

Student assessment;

Teacher appraisal;

School evaluation;

The appraisal of school leaders;

Education system evaluation.Synergies for Better Learning: An International Perspective on Evaluation and Assessment, Presentation by Paulo Santiago Directorate for Education and Skills, OECD, 2013

33

Policy review

Sono strutturate per far interagire gli esperti, i decisori e gli operatori sul campo

34

Tra i diversi lemmi e costrutti, il termine accountability appare oggi una parola chiave emergente per la valutazione dei sistemi formativi (dal livello micro al livello macro).

Ma l’accountability, pur restando un criterio necessario per l’analisi valutativa, in particolare per le dimensioni della trasparenza e della responsabilità, può essere anche sufficiente?

Accountability

35

La logica orientata all’accountability, che generalmente implica l’uso di un approccio di tipo sommativo, applicata all’accertamento dell’esito di apprendimento degli studenti, si esplica - nelle diverse forme di accertamento, - in differenti stadi del percorso formativo, del livello di conseguimento di obiettivi curricolari espressi generalmente in conoscenze ed abilità, - sulla base di standard fissati dalle autorità di governo del sistema (standards-based systems)

36

  Prospettiva di accountability Prospettiva di improvementApproccio prevalente Sommativo Formativo

Student assessment

Accertamento, in differenti stadi del percorso formativo, del livello di conseguimento di obiettivi curricolari espressi in conoscenze ed abilità, sulla base di standard fissati dalle autorità di governo del sistema scolastico (standards-based systems).

Individuazione di particolari sottogruppi nella popolazione scolastica dal basso livello di performance.

Individuazione dei fattori correlati al conseguimento dei risultati.

Accertamento del livello di conseguimento degli obiettivi e standard fissati a livello governativo.

Analisi della variazione nel tempo dei livelli conseguiti.

Utilizzo dei risultati ottenuti dagli studenti in funzione di premialità o penalizzazione delle scuole.

Utilizzo dei risultati ottenuti dagli studenti in funzione della valutazione degli insegnanti.

Funzione diagnostica: tesa ad individuare tipo e livello delle difficoltà di apprendimento alla luce di criteri definiti per migliorare l’istruzione impartita in classe.

Funzione prognostica: diretta ad individuare limiti istituzionali ed organizzativi e giustificare forme di intervento per una loro riduzione o superamento.

Monitoraggio dei progressi nell’apprendimento nel corso del tempo in relazione alle attese.

Identificazione dei bisogni formativi e adozione dei necessari aggiustamenti alla pratica di insegnamento.

esem

pio

accountability

esiti processi

improvement

focus

fina

lità

Modelli di autovalutazione delle istituzioni educative e formative

37

38

L’attività di valutazione, interpretata in funzione di uno sviluppo dei sistemi e della loro capacità di risposta sia verso l’esterno che verso l’interno, richiede la predisposizione di un’adeguata architettura del sistema valutativo, la cui articolazione possa comprendere tanto il piano della valutazione dei risultati di apprendimento, quanto nuovi e meno tradizionali elementi, quali la valutazione delle istituzioni scolastiche, della performance degli insegnanti e del sistema nel suo complesso.

Il raccordo tra valutazione interna ed esterna

39

Ne risulta quindi la tendenza a promuovere lo sviluppo di sistemi integrati di valutazione, le cui componenti siano interconnesse sulla base di dispositivi di rilevazione e set di indicatori unitari entro un sistema informativo che consenta l’interoperabilità dei dati raccolti ed elaborati.

40

Secondo questi studi, in 25 paesi UE risultano tre modalità prevalenti (che possono presentarsi anche in forma mista):

esami standardizzati (es. Irlanda, Lituania, Polonia)

coursework (es. portfolio,…come in Germania, Austria)

valutazione di performances e capacità pratiche (es. Finlandia, Francia, Spagna, Regno Unito).

Tipologie di valutazione finale dell’ IVET in Europa

Cedefop, C O M P A R A T I V E A N A L Y S I S, Initial vocational education and training (IVET), paper, 2009

41

a) Prima tendenza

ricerca di un più stretto raccordo tra standard formativi e forme di assessment degli studenti.

b) Seconda tendenza

sviluppo delle capacità degli insegnanti di valutare sulla base di standard.

In alcuni casi, ad esempio in UK, si forniscono agli insegnanti linee guida dettagliate sulle pratiche di assessment, rafforzando i processi di collaborazione tra istituzioni formative ed insegnanti.

La valutazione degli apprendimenti e delle performances degli studenti: alcune tendenze a livello comparato

42

c) Terza tendenza

ricerca di un più stretto raccordo tra pratiche di valutazione esterna e valutazione degli apprendimenti effettuata dagli insegnanti.

In proposito si può rilevare che in diversi Paesi si combina il punteggio ottenuto dagli studenti in prove di valutazione esterna con quello attribuito in classe dagli insegnanti. È questo il caso ad esempio di paesi quali la Danimarca, Olanda, Polonia, Svezia, Svizzera ed il Regno Unito.

Fonte: Luca Dordit, La valutazione dei sistemi educativi: alcune linee di tendenza nei processi di riforma in corso in area OCSE, in «Rassegna italiana di valutazione», n. 49 (2011), pp.63-76

43

 a) La «Guida per l’autovalutazione»

Un elemento a supporto della strategia europea per l’assicurazione della qualità nella VET è costituito dalla European Guide on Self-assessment for VET-providers, frutto del lavoro del Gruppo Tecnico sulla Qualità (TWG) costituito dalla Commissione Europea presso il CEDEFOP. L’adattamento italiano della «Guida» è stata curato da G. Allulli (2006) per conto dell’ISFOL.

Strumenti promossi dal CEDEFOP

44

b) La guida per la Peer Review

La Peer Review (valutazione tra pari) è una forma di valutazione esterna che ha l’obiettivo di supportare le strutture scolastiche e formative nelle iniziative di sviluppo e di assicurazione della qualità.

Il modello di Peer Review per la qualità nel settore education è stata messo a punto dalla Commissione Europea per essere adottato su base volontaria dalle istituzioni di Istruzione e Formazione Professionale.

45

Si tratta di un gruppo esterno di esperti, definiti Pari (Peers) che è chiamato a valutare la qualità di alcune aree della struttura scolastica/ formativa, come per esempio la qualità dell’insegnamento / apprendimento, o dell’intera struttura.

Durante il processo valutativo, i Peer conducono visite presso l’istituzione soggetta a valutazione.

Il Manuale italiano della Peer Review è stato curato dall’Isfol (cfr. Allulli e Tramontano, 2012).

46

Il «modello italiano» di valutazione del sistema di istruzione

e di formazione

47

Il decreto del Presidente della Repubblica del 28 marzo 2013, n. 80 ha istituito il nuovo Sistema di Valutazione Nazionale di valutazione in materia di istruzione e formazione .

Vi contribuiscono tre soggetti: INVALSI (Istituto nazionale per la valutazione del sistema di istruzione e formazione), Indire (Istituto nazionale di documentazione, innovazione e ricerca educativa) ed il contingente degli ispettori scolastici.

Il nuovo «sistema nazionale di valutazione» (SNV)

il Regolamento del SNV (2012)

(Art. 6: procedimento di valutazione)

a. Autovalutazione delle istituzioni

b. Valutazione esterna

c. Azioni di miglioramento

d. Rendicontazione sociale

48

Fonte: MIUR, materiali presentazione USR, 2013

Il processo di riferimento

2. - elaborazione di un rapporto di autovalutazione

- formulazione di un piano di miglioramento

1. analisi e verifica del proprio servizio sulla base di:

- dati resi disponibili dal sistema informativo del Miur

- rilevazioni sugli apprendimenti e elaborazioni sul valore aggiunto dell'Invalsi

- ulteriori elementi significativi integrati dall’istituto

Ripreso da art. 6 del Regolamento sul Sistema nazionale di Valutazione: “procedimento di valutazione”; lettera a)

autovalutazione delle istituzioni scolastiche49

50Fonte: VALSIS, Quadro di riferimento teorico valutazione sistemi e scuole, Invalsi, 2010

51

Il riferimento concettuale prescelto per l’impostazione generale del framework è il cosiddetto modello CIPP (Context – Input – Process - Product) di Stufflebeam.

52

Fonte: INVALSI-M

IUR, 2013

53

Schema comune di riferimento per il «report di autovalutazione»

Fonte: Invalsi, materiali progetto VALES, 2013

54

55

Un esempio di sistema integrato

di valutazione dell’istruzione e

della IeFP

56

Architettura generale del modello di valutazione

SERVIZIO DI SUPPORTO ALLA

VALUTAZIONE Realizzazione e monitoraggio banca-dati on line

Supporto all’autovalutazione Supporto alla valutazione esterna

“MAPPA” DEGLI ISTITUTI Differenze tra contesto di partenza e risultati raggiunti

INDICATORI DI

CONTESTO

INDICATORI DI

RISULTATO

INDICATORI DI PROCESSO

Funzionamento organizzativo e didattico degli istituti Valutazione della differenza tra contesto e risultati raggiunti

AUTO-VALUTAZIONE DI ISTITUTO (NIV)

Inserimento periodico degli indicatori di contesto e risultato

Report di autovalutazione

Partecipazione alla valutazione

esterna

VALUTAZIONE ESTERNA

Acquisizione, costruzione e analisi della mappa degli istituti

Acquisizione report di

autovalutazione degli istituti

Costruzione indicatori di processo

Report di valutazione degli istituti

Il modello della Provincia di Trento

57

per concludere…

58

«Noi incoraggiamo gli studenti a lavorare, ma questo lavoro deve risultare ben fatto in due modi: esemplare dal punto di vista della qualità, ma anche responsabile. … Il lavoro che facciamo come adulti dovrebbe sempre tenere in considerazione le nostre responsabilità in cinque ambiti differenti: • il nostro personale sistema di valori; • gli altri individui intorno a noi: famiglia, amici,

colleghi o compagni di scuola; • la nostra professione o vocazione; • le istituzioni alle quali apparteniamo; • il mondo intero: le persone che non

conosciamo, quelle che vivranno in futuro, la salute e la salvezza del pianeta »

(cfr. H. Gardner, Un’educazione per il futuro, 2001)