La valutazione di sistema dalla cronologia alla tipologia

La valutazione di sistema

dalla cronologia alla tipologia

Valutazione di sistema

Quando e dove ?

1960 - Stati Uniti

“Guerra alla Povertà”

Presidenza Johnson

(1964-1969)

1948 - Stati UnitiEducational evaluationRalph Tyler - teoria del curricolo

“È necessaria una valutazione scientifica finalizzata al miglioramento della qualità dell’istruzione”


Perché gli U.S.A. ?Perché gli U.S.A. ?Provare l’efficacia dell’intervento pubblico negli

affari sociali

In Europa il WS è parte integrante del sistema istituzionale

NON SI DUBITA DELLA EFFICACIA DEI SERVIZI“dalla culla alla bara”

Lord Beveridge


Quali sviluppi ?Stufflebeam (1985)

1946-1957 - età dell’innocenza (Tyler - Fisher) prevale il modello sperimentale; 1958-1972 - fase dello sviluppo/espansione (Stake - Parlett - Hamilton) forti

pressioni sul sistema educativo (guerra fredda) si critica il modello sperimentale - illuminative evaluation: non solo i risultati ma anche il processo;

1973-1983 - fase della professionalizzazione (Scriven, Stake, McDonald) la valutazione diventa una professione - nascono associazioni professionali : goal free evaluation - responsive evaluation - democratic evaluation.

1983-2001 - fase dell’integrazione (Madaus- Stufflebeam-Guba e Lincoln) - le domande e gli assunti dei coinvolti/stakeholders costitiscono il focus organizzativo della valutazione


Quali modelli/approcci ?N.Stame

•positivista sperimentale - centrato sugli obiettivi;

•prospettivista - della qualità - centrato sugli standard;

•costruttivista-del processo sociale - centrato sugli stakeholders-i portatori di interesse.


POSITIVISTA SPERIMENTALE

Età dell’innocenza - Tyler Fisher Campbell Stanley …

Età della professionalizzazione

Fase dell’integrazione


PROSPETTIVISTA DELLA QUALITA’





COSTRUTTIVISTADEL PROCESSO

SOCIALE




Valutazione di sistema - il modello positivista sperimentale

Tyler - Fisher - Campbell

•Concepito per programmi volti ad affrontare gravi e ricorrenti problemi sociali (disoccupazione, criminalità …)

•Logica razionale: obiettivi/mezzi/risultati attesi

•Ciclo politico: decisione implementazione valutazione nuova decisione.


•Il programma è ipotizzato per determinare un cambiamento;

•Il cambiamento atteso è definito da: scopi (goals) e da obiettivi (objectives);

•Gli scopi (goals) definiscono aspirazioni (politiche) non quantificabili (es. eliminare la disoccupazione ridurre la povertà ridurre la dispersione scolastica…)

•Gli obiettivi (objectives) sono espressi attraverso indicatori quantitativi (es. creare 1000 posti di lavoro” “portare il livello di povertà sotto la media europea” “ridurre del 10% il numero degli abbandoni scolastici”)


La valutazione :

1. Confronta obiettivi e risultati

2. Verifica se si è prodotto cambiamento

3. Verifica se il cambiamento dipende dal programma o da altre concause


Caratteri della valutazione:

1. Metodo di verifica quasi sperimentale dove il programma (gli imput) è la variabile indipendente e gli obiettivi la variabile dipendente;

2. Uso del gruppo di controllo;3. Modelli di osservazione ex-post (confrontare la situazione

dopo l’intervento con quella pre-intervento);4. Tecniche di ricerca quantitative - questionario5. I valutatori sono esterni6. Niente valutazione formativa (cosa non sta funzionando ?)7. Solo valutazione sommativa (vale la pena proseguire ?)


Le critiche:

Come collegare goals ad objectives ? Gli obiettivi rischiano di essere poco chiari (di quanto REALISTICAMENTE deve ridursi l’abbandono perché si sia realizzata una significativa lotta alla dispersione scolastica ?);

La valutazione sottovaluta tutto il processo di implementazione e osserva solo i risultati ;

La valutazione può dimostrare che qualcosa si modifica dopo che è stato introdotto un input ma non è in grado di dire perché ciò avviene;

Il fine giustifica i mezzi? (è il “successo” che determina la bontà di un programma?)

Valutazione di sistema - il modello prospettivista - della qualità

Il programma è valutato sulla base di un’idea di valore:

•Concetto di merito detenuto da attori interni e/o dai valutatori

•Standard definito all’esterno del programma


“Goal free evaluation”

M.Scriven1992

Chi valuta non può essere neutraleGli obiettivi sono alibi

La valutazione è un giudizio di valore


Giudizio di valore

merit

valore intrinseco espresso nello standard di qualità di

un’attività

worth

valore estrinseco espresso dai bisogni dei destinatari


Corso di inglese

MeritLa didattica della lingua

WorthLa domanda di apprendimento

Prof ! Lei è bravissimaMa noi volevamo un corso di tedesco !!


Fasi della valutazione (Scriven) :

1. Stabilire criteri di merito e standard di qualità

2. Misurare le performance dei singoli programmi

3. Creare un graduatoria dei programmi4. Giudizio finale di valore


L’elemento di confronto non è l’obiettivo ma lo standard di qualità

Modello positivistaIl programma ha conseguito gli obiettivi ?

Modello prospettivistaIl programma è di buona qualità ?


Il lessico della qualita’

TOTAL QUALITY

Obiettivo strategico a lungo termine di un’orgnizzazione

Esprime un’idea di eccellenza nella: competitività, redditività, costi, tempi, immagine, prodotto, servizio,

controlli, ecologia.


Il lessico della qualità

BENCHMARKING

Processo di analisi della propria organizzazione (prestazioni/processi) attuato tramite confronto con

altre organizzazioni dello stesso settore o di altri ritenute eccellenti



EMPOWERMENT

Creazione di una struttura/azione che insieme alla erogazione di formazione dei lavoratori/dipendenti

consente a questi ultimi di diventare consapevoli delle proprie capacità e di poterle sviluppare (job enrichment).



COSTUMER SATISFACTIONLa soddisfazione del cliente intesa come obiettivo prioritario di un sistema di qualità. Si esplica in una

strategia organizzativa/aziendale che si concreta in un insieme di scelte finalizzate alla produzione di quella

qualità che incontra pienamente le esigenze del cliente. Non si tratta di una qualità del prodotto ma di una qualità del modo di lavorare dell’organizzazione, cioè di ciò che

porta le persone a consolidare la loro prima scelta, ripetendola e riconfermandola nel tempo.


Il modello positivista sperimentale si presta per la valutazione di programmi ad hoc

Il modello prospettivista è adatto a valutare il rendimento di istituzioni e servizi

Progetto Qualità nella Scuola

Total Quality Management Sanità, Assistenza, Trasporti…

Quali impieghi ?


L’approccio alla qualità oggi si identifica con la certificazione e con l’applicazione anche ai servizi pubblici del sistema ISO9000 (servizi privati)

Il valutatore diventa un certificatore di standard e assicura l’osservanza di procedure stabiliti entrambi da un’autorità esterna

Quali sviluppi ?


Le critiche:

Come si fissano gli standard ?Rispetto a cosa ci si confronta (banchmerking) ?Mete da perseguire o soglie minime ?Chi stabilisce gli standard: l’autorità politica, le amministrazioni, gli esperti, la concertazione tra parti sociali ? Sono nazionali o locali ?


Le critiche

La certificazione ISO 9000 si riferisce solo al merit e il worth?

Siamo certificati ISO9000 e fanno ancora domande !!

Valutazione di sistema - il modello costruttivista - del processo sociale

Guba e Lincoln1989

valutazione di quarta generazione rispondente costruttivista

Le domande le preoccupazioni gli assunti degli stakeholders sono il focus della valutazione

La definzione di cosa sia un successo è un concetto che si forma in un momento successivo

al varo del programma.E’quando si sente l’opinione degli stakeholders

che si può formulare un giudizio.


Stakeholder

Con il termine Stakeholder si individuano i soggetti "portatori di interessi" nei confronti di un'iniziativa economica, sia essa un'azienda sia esso un progetto.Fanno, ad esempio, parte di questo insieme: i clienti, i fornitori, i finanziatori (banche e azionisti), i collaboratori, ma anche gruppi di interesse esterni come i residenti di aree limitrofe all'azienda o gruppi di interesse locali.


“Il Gruppo Telecom Italia suddivide i suoi stakeholders in otto categorie: clienti, fornitori, concorrenti, istituzioni, ambiente, comunità, risorse umane e azionisti.Bilancio e Piano Strategico di Sostenibilità sono stati ideati in modo da misurare e pianificare la performance relativa a ciascun stakeholder.”

QuickTime™ e undecompressore TIFF (Non compresso)sono necessari per visualizzare quest'immagine.

“Gli stakeholders (portatori di interesse) principali per la promozione della sicurezza sono i cittadini, i familiari, le organizzazioni di rappresentanza dei cittadini, le associazioni di volontariato, gli enti locali, il personale e i dirigenti delle aziende sanitarie, i sindacati e le assicurazioni. Il coinvolgimento di tutti questi soggetti permette di acquisire e rinnovare la consapevolezza dei rischi, identificare possibili nuovi determinanti degli stessi pericoli e permette, quindi, di realizzare un sistema integrato per la gestione del rischio clinico.”


QuickTime™ e undecompressore TIFF (Non compresso)

sono necessari per visualizzare quest'immagine.


Assunti di fondo del modello:

Ogni volta che si attua un programma esso muta a contatto del contesto;I problemi sentiti dai vari stakeholders saranno diversi e quindi le conclusioni non possono essere generalizzate;La valutazione di un progetto può fornirmi tendenze, indicazioni che si possono applicare in contesti simili.


Come valutare ?

La valutazione deve essere partecipata;I valutatori devono interagire con gli stakeholders;In presenza di interessi o posizioni in conflitto i valutatori assumono ruoli di negoziazione (arbitri - facilitatori);Il valutatore fa appello alla sua esperienza e confronta il caso con altri simili.


A che serve la valutazione ?

Finalità conoscitive: comprendere la situazione attraverso gli attori, definire i problemi, chiarire ciò che si può attenere con i programmi.

Empowerment: potenziare le capacità dei beneficiari di utilizzare il programma, favorire il processo di apprendimento.


Riassumendo ?


APPROCCI:

Postivista-sperimentaleProspettivista-della qualitàCostruttivista-del processo sociale


FOCUS:

Obiettivi (positivista)Standard (qualità)Stakeholders (costruttivista)


AMBITI DI RIFERIMENTO:

Ciclo della decisione (positivista)Amministrazione e menagement del programma (qualità)Il contesto (costruttivista)


UTILIZZAZIONE:

Strumentale per la politica (positivista)Gestione e funzionamento dell’amministrazione (qualità)Conoscitiva-Empowerment (costruttivista)


VANTAGGI:

serve a programmare meglio (positivista)serve al buon menagement (qualità)genera apprendimento per tutti gli stakeholders (costruttivista)


PROBLEMI:

Gli obiettivi non sono chiari. (positivista)Che cos’è la qualità/come e chi fissa gli standard ? (qualità)Da dove cominciare e dove guardare ? (costruttivista)


In coclusione ?


Alla valutazione non ci si può sottrarre

•Divario tra offerta e domanda di fondi pubblici, •Rivoluzione dell’informazione che incrementa la domanda di conoscenze valutative•Norme che vincolano sempre più estesa finanziamenti a risultati•Legge sulla trasparenza•Legge sull’autonomia

AUMENTO DI RESPONSABILITA’

ANCHE GLI ENTI PUBBLICI NO-PROFIT DEVONOINTRAPRENDERE LA STRADA DELLE IMPRESE

ECONOMICHE


PER LA VALUTAZIONE CI SONO APPROCCI NON PARADIGMI

In prospettiva sistemica i modelli non si escludono e possono quindi essere utilizzati a seconda del programma o del problema


La valutazione va verso una sempre più marcata democratizzazione

•Valutare non è un atto esterno neutrale oggettivo. •Valutare è un’azione che chiede coinvolgimento partecipazione inclusione.•Una valutazione efficace genera apprendimento e produce empowerment.


Per imparare dai propri errori bisogna prima rendersi conto di starli commettendo

A.Bloch

Fine !!!

Documents

La valutazione di sistema dalla cronologia alla tipologia