1

PPRROOGGEETTTTOO NNUUVVAALL

LLAA VVAALLUUTTAAZZIIOONNEE DDEEGGLLII EEFFFFEETTTTII DDEELLLLEE PPOOLLIITTIICCHHEE RREEGGIIOONNAALLII

PERCORSO FORMATIVO PER I NUCLEI DI VALUTAZIONE E PER LE AMMINISTRAZIONI

Perché il percorso formativo

Rispondendo alla sollecitazione del Quadro Strategico Nazionale 2007-2013, della Delibera CIPE n. 16612007 per l'attuazione del QSN e della Commissione Europea, numerose amministrazioni regionali e centrali prevedono, nei propri Piani delle valutazioni, già per il 2008 ed il 2009, valutazioni ex-post di interventi delle passate programmazioni, al fine di comprendere gli effetti degli interventi effettuati. Si tratta di un compito relativamente nuovo per le amministrazioni, finora responsabili prevalentemente di fare condurre valutazioni ex-ante, in itinere o intermedie. Esso, quindi, pone peculiari questioni sia alle amministrazioni stesse – chiamate ad esprimere domande valutative, ad elaborare mandati di valutazione o capitolati, a selezionare i valutatori (laddove questi siano esterni), e ad organizzare la gestione tecnica delle valutazioni – sia ai Nuclei – chiamati a realizzare l’interlocuzione con i valutatori o a condurre direttamente le ricerche valutative. Inoltre, le amministrazioni hanno la responsabilità di cominciare fin da ora ad impostare le future valutazioni di impatto del periodo di programmazione 2007-2013. Valutare gli impatti significa individuare gli effetti ultimi, di lungo termine, siano essi negativi o positivi, di un intervento (progetto, programma o politica): non solo gli effetti desiderati e attesi, ma anche quelli imprevisti. Tali effetti possono essere economici, sociali, ambientali. Esistono, evidentemente, numerosi approcci a tale compito, e su di essi è in corso un dibattito in campo internazionale, soprattutto sulle politiche di sviluppo. Tale dibattito ha dato vita al coordinamento di diversi gruppi di lavoro1. Innanzitutto, esiste una tradizione2 di valutazione d’impatto basata sull’idea di dimostrare che gli effetti riscontrati sono il risultato dell’intervento, e solo di esso, e di individuare l’effetto netto di un intervento, depurato di altri effetti (spiazzamento o displacement; peso morto o deadweight)3.

1In particolare, nell’ambito del Network of Networks of Impact Evaluation sono stati elaborati due documenti: uno interamente dedicato al disegno sperimentale (RCT) (NONIE, 2007a NONIE: Impact evaluation guidance: section one, in http://www.worldbank.org/ieg/nonie/), ed un altro che presenta altri approcci (NONIE, 2007b, NONIE: Impact evaluation guidance: subgroup two, in http://www.worldbank.org/ieg/nonie). 2Questo filone di ricerche valutative ha avuto una grande fioritura negli anni ’70 negli USA, è poi continuato su scala più ridotta nei decenni successivi, ed è tornato attualmente alla ribalta con varie iniziative ispirate al concetto di Evidence Based Policy (EBP), le quali ritengono che di fronte ai fallimenti di molti interventi nel campo sociale e dello sviluppo sia necessario capire “cosa funziona”, al fine di finanziare solo quello e sospendere altri interventi. 3Brancati, R. (2007), L’offerta pubblica e la domanda dei privati. Le politiche per le imprese, Rapporto Met 2006, Donzelli, Roma. Allo scopo di confrontare i risultati ottenuti nella situazione in cui è stato condotto l’intervento con una situazione “senza intervento” (logica controfattuale) è possibile operare sia procedendo a ritroso, prevalentemente con metodi statistici (confrontando la situazione reale con una ipotetica in cui sia mancato l’intervento), sia predisponendo fin dall’inizio dell’intervento un’osservazione di due situazioni,

2

Esistono, poi, altri approcci, che affrontano in modo diverso la questione di individuare, misurare e giudicare gli impatti degli interventi: per esempio, l’approccio della valutazione “libera dagli obiettivi” (Scriven), della “valutazione basata sulla teoria” (Weiss) o della “valutazione realistica” (Pawson e Tilley)4. Le differenze tra i vari approcci derivano da diversi fattori quali a) la concezione stessa dell’intervento, che può essere visto come un “trattamento” circoscritto su un gruppo target, o come un’opportunità colta in modo diverso da ciascun gruppo di attori; b) la concettualizzazione dei meccanismi di causazione; c) il modo di considerare e “trattare” la disomogeneità dei soggetti e dei contesti in cui essi operano. Di conseguenza, ciascun approccio corrisponde ad una diversa domanda di valutazione: per esempio, l’approccio sperimentale risponde a domande del tipo “il tipo di intervento x consegue i risultati prefissati?” o, in modo più ambizioso “cosa funziona per risolvere il problema y?”, mentre l’approccio realista risponde a domande del tipo “quale tipo di intervento funziona per quali gruppi in quali contesti? Cosa, nell’intervento stesso o nelle circostanze in cui si trovano i soggetti che se ne avvalgono, lo fa funzionare?” o, in modo più sintetico, “cosa funziona meglio dove, per chi e perché?”. Altri approcci si domandano cosa significhi, per un determinato intervento in una determinata area, avere successo (“cosa viene prodotto dall’intervento z per quali gruppi? Quali criteri ci portano a giudicare che questo è un bene? Gruppi diversi – l’amministrazione, i destinatari, etc. – danno giudizi diversi? Come è possibile arrivare ad un giudizio, ed ad un’azione, comuni?”), oppure, nei casi in cui un intervento sia riuscito a produrre un successo, cosa abbia condotto a tale successo (“nei casi in cui l’intervento z funziona, cos’è che lo fa funzionare?”). A queste divergenze di impostazione corrisponde quindi una diversa scelta dei metodi da utilizzare nella valutazione. Si deve misurare la “robustezza” dei metodi in base alla loro idoneità rispetto agli interventi da valutare ed alle domande cui rispondere. Ciascun metodo, tuttavia, presenta dei limiti: risponde ad alcune domande e non ad altre. E’ bene, quindi, quando sia possibile, sviluppare disegni di valutazione a “metodi misti”.

Obiettivi del percorso formativo

Per individuare l’approccio con cui affrontare una determinata valutazione è necessario comprendere a quali domande sia prioritario rispondere e conoscere meriti e limiti di ciascun approccio. A tale fine, e per consentire alle amministrazioni di cogliere pienamente l’opportunità di comprendere e dimostrare, a beneficio delle amministrazioni stesse e dei partner sociali

entrambe reali, inizialmente omogenee (quella sperimentale, soggetta all’intervento, e quella di controllo, in cui l’intervento non c’è stato) scelte in modo casuale (disegno sperimentale). 4 Vedi in Stame, N. (2001), “Tre approcci principali alla valutazione: distinguere e combinare”, in Palumbo, M., Il processo della valutazione, Angeli, Milano e in Stame, N., a cura di (2007), Classici della valutazione, Angeli, Milano.

3

ed istituzionali, gli effetti degli interventi, si propone un percorso formativo che riguardi i problemi inerenti la valutazione ex –post: • Individuazione del tipo di valutazione più adatta all’intervento da valutare ed alla

domanda, cioè agli aspetti che si sarà scelto di valutare; • Espressione della domanda; • Definizione del disegno della singola valutazione; • Metodi di condurre la valutazione e pratiche. Complessivamente, ci si propone, attraverso un percorso articolato, di chiarire il senso delle scelte che si compiono nel corso di una valutazione e che riguardano i soggetti committenti, le amministrazioni responsabili degli interventi, ed i soggetti che sono chiamati a svolgere le valutazioni, siano essi esterni o interni all’amministrazione (Nuclei). Struttura del percorso formativo A tal fine il percorso formativo include, oltre all’incontro iniziale, incontri ad hoc focalizzati su esperienze concrete, e la possibilità, per un numero limitato di singoli componenti dei Nuclei, di partecipare a corsi brevi focalizzati su metodi specifici o su particolari questioni e pratiche valutative. Gli incontri Dopo il primo incontro di illustrazione del percorso formativo e dei concetti fondamentali, la modalità prevalente di svolgimento delle giornate è quella del seminario, con una dimensione ideale tale da consentire un’effettiva interazione. I seminari sono finalizzati a fornire ai partecipanti un’esperienza dei rispettivi meriti, limiti ed ambiti di applicabilità dei vari modi di rispondere alle concrete domande valutative che fronteggiano (come committenti di valutazioni, come responsabili della gestione tecnica p. e., in uno Steering Group, come valutatori) e di come tali approcci si possono combinare. Ciascuna sessione individuerà gli strumenti utilizzabili per i compiti che i partecipanti dovranno affrontare nel concreto, sarà ancorata ad un esempio concreto di valutazione e finalizzata alla soluzione collettiva di un particolare problema possibilmente proposto dai partecipanti stessi o selezionato dai formatori. Gli incontri sono destinati ai componenti dei Nuclei, ai soggetti che avranno la responsabilità degli interventi e del loro coordinamento ed a quanti, nelle amministrazioni, avranno la responsabilità di gestire le valutazioni. Il percorso formativo colloca i vari incontri in una sequenza logica: il vantaggio formativo sarà massimizzato da una partecipazione costante. Pertanto, ed in considerazione della necessità di programmare la dimensione dei singoli seminari, si incoraggia l’iscrizione preventiva dei singoli partecipanti all’intero percorso formativo.

4

Organizzazione delle sessioni

Sessione I – Roma, 29 maggio 2008, salone UVAL

VALUTARE GLI EFFETTI DEGLI INTERVENTI E DELLE POLITICHE: APPROCCI, CONDIZIONI

ISTITUZIONALI E DIBATTITO Con la programmazione 2007-2013, le Amministrazioni centrali e regionali hanno la possibilità di avvalersi in modo nuovo delle attività di valutazione e in particolare possono: • Formulare domande valutative su questioni rilevanti per l’Amministrazione; • Chiedere valutazioni ex post su interventi delle precedenti programmazioni; • Decidere quali soggetti dovranno condurre quali valutazioni, potendo scegliere anche

di attribuirne alcune al proprio Nucleo; • Definire le modalità della gestione tecnica delle valutazioni: come garantire qualità e,

allo stesso tempo, autonomia del/i valutatore/i affiancando loro un’interlocuzione metodologica e di merito. Tale interlocuzione potrà essere svolta dal Nucleo o da Steering Group creati ad hoc.

L’innovazione più rilevante riguarda la valutazione ex post di interventi delle passate programmazioni: essa, infatti, apre la possibilità di valutarne gli effetti. Affinché questa opportunità sia pienamente colta, è stato deciso di offrire alle Amministrazioni e in particolare ai Nuclei, un percorso formativo che riguardi i problemi inerenti la valutazione di impatto: la formulazione della domanda e del disegno di valutazione, l’individuazione del tipo di valutazione più adatta all’intervento da valutare, i metodi di conduzione della valutazione, le pratiche che vi si svolgono. Questa prima giornata è destinata ai Referenti della programmazione unitaria, ai Responsabili dei Piani delle valutazioni ed ai Coordinatori e Componenti dei Nuclei. La giornata sarà dedicata ad una descrizione del percorso formativo ed all’analisi dei concetti alla base delle scelte fondamentali che si compiono nell’individuare ed iniziare una valutazione. Tali scelte riguardano in primo luogo i committenti, le Amministrazioni responsabili degli interventi, i soggetti che dovranno svolgere le valutazioni, in particolare i Nuclei, ed i potenziali beneficiari degli interventi. Obiettivi della sessione: • Cosa significa che la valutazione deve essere “fatta su misura dell’intervento da

valutare”; • Domande di valutazione e metodi adatti a rispondere; • Elementi che entrano in un piano di valutazione: scopi, contesto, risorse; • Relazioni tra stakeholder e valutatori. Docente: Nicoletta Stame

5

Testi consigliati NONIE Subgroup 2, 2008, Impact Evaluation Guidance disponibile al seguente indirizzo:

http://www.worldbank.org/ieg/nonie/docs/NONIE_SG2.pdf; Rossi P. H., Freeman H., Lipsey M. W., 2007, “Costruire le valutazioni su misura”, in

Classici della valutazione, a cura di Nicoletta Stame, Franco Angeli, Milano (traduzione italiana di “Tailoring Evaluation”, 1999, in Evaluation, a Systematic Approach, Sage, Thousand Oaks, CA);

Stame N., 2001, “Tre approcci principali alla valutazione: distinguere e combinare”, in M. Palumbo, Il processo di valutazione: decidere, programmare, valutare, Milano, Angeli.

Sessione II – Roma, 19 giugno 2008, Centro Congressi Frentani

L’APPROCCIO CONTROFATTUALE PER VALUTARE GLI EFFETTI DI UNA POLITICA PUBBLICA: POTENZIALITÀ E LIMITI DEL METODO SPERIMENTALE

Una delle domande che è legittimo, se non doveroso, porsi in relazione ad ogni intervento pubblico è “produce gli effetti desiderati?”. Una risposta a questa domanda offrirebbe al decisore pubblico argomenti per decidere se ridurre o ampliare l’intervento e stimoli per riesaminare criticamente la logica dell’intervento e le sue modalità di implementazione. È una domanda alla quale peraltro è difficile rispondere, perché la risposta presuppone l’individuazione del legame causale tra l’attuazione dell’intervento e i cambiamenti osservati nelle variabili su cui l’intervento intende incidere. Tra gli approcci elaborati dalla comunità scientifica internazionale per rispondere a questa domanda c’è l’approccio controfattuale, che mira ad identificare e stimare gli effetti e ad individuare i rapporti di causa-effetto con gli interventi: L’idea fondamentale è la definizione di effetto come differenza tra cosa è successo dopo l’intervento e cosa sarebbe successo se l’intervento non fosse stato attuato”, definito anche situazione controfattuale. La sfida è tradurre questa definizione in metodi analitici concretamente utilizzabili con i dati a disposizione. Il seminario fornirà una panoramica introduttiva dell’approccio controfattuale e dei metodi sperimentali e non-sperimentali ad esso collegati, ne discuterà potenzialità e limiti, e proporrà un approfondimento relativo all’utilizzo del metodo sperimentale nel campo dell’istruzione. Obiettivi della sessione: • Esplorare le basi concettuali dell’approccio controfattuale; • Discutere le differenze tra questo approccio e quello degli “indicatori di impatto”; • Capire cosa è un randomized controlled trial, le sue potenzialità e i suoi forti limiti; • Capire la logica dei metodi non-sperimentali, in particolare l’uso di un gruppo di

controllo ex-post ottenuto mediante abbinamento; • Analizzare un caso statunitense di randomized controlled trial in campo educativo.

6

Docenti: Alberto Martini (Università del Piemonte Orientale, PRO.VA), Roberto Agodini (Matematica Policy Research – Princeton - USA). Testi consigliati Agodini R., Dynarski M., 2004, “Are Experiments the Only Option? A Look at Dropout

Prevention Programs”, in Review of Economics and Statistics, vol. 86, no. 1, February 2004;

Berk R., 2005, Randomized Experiments as the bronze standard, Department of statistics, Ucla, available at: http://repositories.cdlib.org/uclastat/papers/2005080201/ ;

Campbell D. T., Stanley J. C., 2004, Disegni sperimentali e quasi-sperimentali per la ricerca, Edizioni Eucos, Roma (traduzione di Experimental and Quasi-Experimental Designs for Research, 1966, Houghton Mifflin Company, Boston);

Campbell Donald T., 2007, “Riforme come esperimenti”, in Classici della valutazione, a cura di Nicoletta Stame, Franco Angeli, Milano (traduzione italiana di Donald T. Campbell, 1969, “Reforms as experiments” in American Psychologist, vol. 24 n. 4);

Martini A., 2006, “Metodo sperimentale, approccio controfattuale e valutazione degli effetti delle politiche pubbliche”, in Rassegna Italiana di Valutazione, n. 34, 2006, http://www.prova.org/contributi- metodologici/martini_metodo%20sperimentale%20e%20logica%20controfattuale.pdf

Martini A., 2008, How Counterfactuals got lost the way to Brussels, prepared for the Symposium “Policy and programme evaluation in Europe: cultures and prospects” Strasbourg, July 3-4, 2008;

Martini A., Mo Costabella L., Sisti M., 2006, “Valutare gli effetti delle politiche pubbliche: metodi e applicazioni al caso italiano”, in “Materiali Formez”, Scaricabile da http://www.prova.org/contributimetodologici/2008/04/valutare_gli_effetti_delle_pol.html;

Sessione III – Roma, 17 luglio 2008, Centro Congressi Frentani

L’ APPROCCIO REALISTA

La sessione si concentra sulla valutazione realista, compatibile con numerosi metodi quantitativi e qualitativi e basata su una concezione specifica (appunto realista) dei rapporti di causazione. Le valutazioni condotte con questo approccio ambiscono a rispondere a domande del tipo “Quale tipo di intervento funziona per quali gruppi in quali contesti? Cosa, nell’intervento stesso o nelle circostanze in cui si trovano i soggetti che se ne avvalgono, lo fa funzionare?” o, in sintesi, “Cosa funziona dove, per chi e perché?”. La sessione utilizza esempi concreti relativi alle politiche sulla sicurezza per illustrare concetti, vantaggi, limiti e difficoltà legati a tale approccio. La prima parte della sessione espone gli elementi che hanno condotto allo sviluppo dell’approccio denominato “valutazione realistica” a partire da alcune sperimentazioni storiche. Si presentano i concetti base dell’approccio attraverso l’analisi di casi ‘classici’ (v. le misure per il contrasto della violenza domestica e i sistemi di video-sorveglianza) tratti dalla valutazione di politiche per la sicurezza e dall’esperienza decennale sviluppata dall’Home Office (UK) nel settore della valutazione dei programmi per la riduzione della

7

criminalità. Si prosegue con un esempio tratto dalla letteratura valutativa italiana e con un esercizio valutativo applicato alle misure di riqualificazione dei beni confiscati. Si esporranno alcune caratteristiche metodologiche che contraddistinguono le interviste realizzate nella valutazione realista. A tal fine, nella seconda parte della mattinata, viene presentata una testimonianza – un progetto realizzato nell’ambito di un Accordo di Programma Quadro della Regione Sicilia – in cui strategie di sviluppo locale si associano alla riqualificazione di beni confiscati. Due sono gli obiettivi della seconda parte della sessione. Saranno dapprima passati in rassegna i principali concetti della valutazione realistica, al fine di sistematizzare gli spunti emersi nella prima parte della sessione dedicata ad esempi concreti. In secondo luogo, sarà discussa la collocazione della valutazione realistica tra i diversi approcci alla valutazione. Si farà riferimento ad esperienze internazionali di valutazione di politiche per la legalità e la sicurezza, in particolare di politiche per la sicurezza urbana e di iniziative di comunità contro la criminalità. Obiettivi della sessione: • Impadronirsi dei principali concetti della valutazione realistica (meccanismi e contesti); • Sviluppare ipotesi di disegni di ricerca su politiche per la legalità e la sicurezza a partire

dalle indicazioni della valutazione realistica; • Approfondire possibili convergenze e divergenze tra gli approcci allo scopo di

apprezzare, nel concreto svolgere delle valutazioni, vantaggi e limiti di ciascuno; • Esplorare i meccanismi sottostanti ad azioni di riqualificazione di beni confiscati ed alle

politiche per la riduzione del crimine; Docenti: Ferruccio Biolcati Rinaldi (Università degli Studi di Milano), Gaetano Giunta (Presidente EcosMed), Liliana Leone (Studio CEVAS). Testi consigliati Biolcati Rinaldi F., 2006, Povertà, teoria e tempo. La valutazione

delle politiche di sostegno al reddito, Franco Angeli, Milano, ISBN 88-464-7554-2: in particolare il cap. 2;

Leone L., 2008, Giovani, legalità e riqualificazione degli spazi. Valutazione di casi eccellenti di un Accordo di Programma Quadro regionale, Maggioli Editore, II° report di valutazione dell’APQ è scaricabile al seguente indirizzo www.cevas.it/casi/index.htm;

Pawson R., Tilley N., 2007, “Una introduzione alla valutazione scientifica realista”, in Stame N. (a cura di), Classici della valutazione, Franco Angeli, Milano, pp. 371-385 (traduzione di “An Introduction to Scientific Realist Evaluation”, in Chelimsky E., Shadish W., 1997, Evaluation for the 21st Century, Sage, Thousand Oaks, CA).

Pawson R. e Tilley N., 1998, “Caring communities, paradigm polemics, design debates”, in Evaluation, v. 4, n. 1, pp. 73-90;

Pawson R., 2001, “Evidence Based Policy: I. In Search of a Method”, ESRC UK Centre for Evidence Based Policy and Practice, Working Paper 3, October 2001 London. http://kcl.ac.uk/content/1/c6/03/45/88/wp3.pdf ;

Pawson, Nick Tilley, 1997, Realistic Evaluation, Sage, London;

8

Tilley N., 2004, “Applying theory-driven evaluation to the British Crime Reduction Programme. The theories of the programme and of its evaluations”, in Criminal Justice © 2004 SAGE Publications London, Thousand Oaks and New Delhi.

Siti con informazioni sui casi menzionati nella sessione Home Office-UK, sito dedicato a: Crime Reduction, Tilley Award, http://police.homeoffice.gov.uk/news-and-events/tilley-awards4/ ohttp://www.crimereduction.homeoffice.gov.uk/tilley/tilleyawards2008.htm;

Sessione IV – Roma,18 settembre 2008, Centro Congressi Frentani

LA VALUTAZIONE BASATA SULLA TEORIA “Come spiegare il funzionamento di un intervento pubblico?”, “A che serve, dal punto di vista di un’amministrazione pubblica, la valutazione basata sulla teoria?”, “Qual è il valore aggiunto di una teoria che spiega il funzionamento dei fenomeni oggetto di valutazione?”. Queste sono le domande a cui si risponde nel corso della sessione, che sviluppa alcuni concetti presentati nella sessione precedente sull’approccio realista generalizzandone l’impianto teorico-metodologico. Il programma della giornata parte dalla logica di base della valutazione, ovvero dall’individuazione dei criteri di valutazione di un intervento (“cosa si va a guardare per valutarlo?”) e mette in evidenza la necessità di una conoscenza approfondita dei meccanismi di intervento per arrivare alla corretta formulazione del giudizio. Successivamente, si concentra sull’elemento esplicativo del funzionamento delle azioni pubbliche, il meccanismo sociale, portando esempi di meccanismi che spiegano gli effetti delle politiche pubbliche. I meccanismi illustrano e spiegano l’azione degli attori coinvolti in un intervento e le loro interazioni. Essi riguardando tutti i livelli a cui gli attori agiscono e interagiscono: la decisione politica, l’attività amministrativa di spesa, l’attuazione diretta e le sue implicazioni organizzative, gli attuatori, gli erogatori del servizio, gli utenti e i destinatari diretti, infine i destinatari indiretti. Ciascuno di questi livelli influenza ed è influenzato dagli altri: di conseguenza, le domande di valutazione devono tener conto dell’interdipendenza esistente tra di essi ed esplicitarla nel caso (frequente) in cui resti implicita. Come esemplificazione e sintesi, verrà presentata la “Program Action-Interaction Chart”, che illustra graficamente i meccanismi all’opera e li collega, evidenziando le interazioni sollecitate dall’intervento pubblico oggetto di valutazione. Nel corso della giornata verranno illustrati alcuni meccanismi di base e altri specifici alle politiche regionali. Inoltre, verranno inseriti momenti di partecipazione/interazione in cui verrà chiesto ai partecipanti di contribuire con le proprie conoscenze riguardanti il funzionamento sostanziale di programmi o politiche. E’ prevista una testimonianza diretta di un committente che riporterà la propria esperienza nell’utilizzazione di una valutazione basata sulla teoria ed il contributo che essa ha fornito alla riflessione ed alle proprie pratiche quotidiane.

9

Obiettivi della sessione: • Analizzare i meccanismi di funzionamento degli interventi nella politica regionale, nelle

politiche sociali locali e negli interventi di cooperazione internazionale; • Esplorare il concetto di meccanismo esplicativo come costrutto intellettuale per

accrescere la conoscenza del funzionamento di programmi e di politiche; • Illustrare metodi per rilevare ed interpretare azioni ed interazioni degli individui che

programmano, attuano e sono destinatari delle politiche; • Illustrare l’utilità di valutazioni basate sulla teoria; • Mostrare i metodi con cui passare dalle conoscenze implicite alle ipotesi da indagare in

un percorso valutativo. Docenti: Barbara Befani (valutatrice indipendente), Marco Accorinti (IRPPS-CNR). Testi consigliati Befani, B., 2008, “I risultati della valutazione: dagli studi di caso alla teoria di medio raggio”

in Accorinti, M. Terzo settore e capitale sociale: obiettivi, politiche, interventi”, Biblink editori;

Connell, J.P. e Kubisch, A.C., “L'approccio della teoria del cambiamento applicato alla valutazione delle iniziative integrate di comunità: stato dell'arte, prospettive e problemi” in Classici della valutazione, a cura di Nicoletta Stame, Franco Angeli, Milano (traduzione di “Applying a Theory of Change Approach to the Evaluation of Comprehensive Community Initiatives: Progress, Prospects, and Problems” in Fulbright-Anderson K., Kubisch A.C., Connell J.P. (a cura di), New Approaches to Evaluating Community Initiatives: vol II, Theory, Measurement and Analysis, The Aspen Institute, Washington, 1998);

Elster, J., 1993, Come si studia la società: una cassetta degli attrezzi per le scienze sociali, Il Mulino (traduzione di Nuts and Bolts for the Social Sciences, 1989, Cambridge University Press);

Hedstrom, P., 2006, Anatomia del sociale: sui principi della sociologia analitica, Bruno Mondadori (traduzione di Dissecting the Social: on the Principles of Analytical Sociology, 2005, Cambridge University Press);

Hedstrom, P., Swedberg, R., 1998, “Social Mechanisms: an Introductory Essay” in Hedstrom, P., Swedberg, R., Social Mechanisms: an Analytical Approach to Social Theory, Cambridge University Press;

Weiss Carol H., 2007, “La valutazione basata sulla teoria”, in Classici della valutazione, a cura di Nicoletta Stame, Franco Angeli, Milano (traduzione di “Theory-based evaluation: Past, Present and Future”, in Rog D.J. (ed.), 1997, Progress and Future Directions in Evaluation, in “New Directions for Evaluation”, n. 76, Jossey-Bass, San Francisco).

Riferimenti bibliografici Nomisma, 1991, Strategie e valutazione nella politica industriale - Esigenze, proposte,

esperienze a livello locale, Franco Angeli, Milano;

10

Sessione V – Roma, 16 ottobre 2008

LA VALUTAZIONE PARTECIPATA

“Quali sono gli effetti attesi e inattesi che gli interventi producono? Quali gruppi si avvantaggiano e quali sono svantaggiati dall’intervento? Quali giudizi sono dati dagli attori sugli effetti della policy? Come è possibile arrivare ad un giudizio e ad un’azione comuni?” Queste sono le domande cui la valutazione partecipata ambisce a rispondere. La sessione, a partire dai significati e dalle implicazioni teoriche della valutazione partecipata, ne svilupperà le implicazioni pratiche (p.e., quando, come e con quali cautele coinvolgere gli stakeholder di un intervento nella sua valutazione, quali le modalità e gli strumenti idonei, quali i saperi professionali da attivare) con riferimento ad esempi concreti tratti da politiche formative e sociali. Indagherà, inoltre, sul valore aggiunto dell’approccio partecipativo e sui suoi limiti, e sull’utilità sia per l’attuazione, sia per la riprogrammazione delle strategie e degli interventi, sia, ancora, per la riformulazione di strategie, di programmi e di interventi nel prossimo ciclo di policy. Il programma della giornata mette in evidenza come, per cogliere pienamente gli effetti degli interventi, sia necessario apprezzare le difformi prospettive da cui i molteplici gruppi di interesse coinvolti osservano la policy. Particolare attenzione, pertanto, sarà prestata all’analisi di tali prospettive, in funzione dei rispettivi ruoli - di decisore, di valutatore, di esperto, ma anche di gestore, operatore, beneficiario e destinatario finale di una policy. Poiché ogni livello decisionale richiede un livello appropriato di partecipazione e possiede proprie esigenze valutative, la riflessione prenderà in esame la tipologia di soggetti da includere nei processi valutativi e decisionali e di scegliere modalità di partecipazione congruenti, in funzione del livello decisionale considerato e dell’oggetto della valutazione. Sarà quindi proposto un modello che tenta di considerare congiuntamente, equilibrandoli, tali aspetti, in un ciclo integrato di progettazione e valutazione partecipata, proponendo ai partecipanti di applicarne gli elementi fondamentali alle politiche e ai programmi di loro competenza nell’ambito di lavori di gruppo.

Obiettivi della sessione:

• esplorare il concetto di partecipazione, illustrando il supporto che la partecipazione ai processi valutativi può dare al governo di processi complessi;

• stimolare una riflessione relativa ai fattori che consigliano l’adozione di processi partecipati di valutazione;

• contestualizzare la partecipazione ai processi valutativi nella politica regionale, con particolare attenzione agli attori implicati, ai livelli interessati, alle fasi della politica;

• illustrare i modi in cui la partecipazione può essere inserita nel quadro di processi valutativi complessi.

Docenti: Claudio Torrigiani (valutatore indipendente) Testi consigliati House E. R., Howe K., 2007, “Valutazione e democrazia deliberativa”, in Classici della

valutazione, a cura di Nicoletta Stame, Franco Angeli, Milano (traduzione di

11

“Deliberative Democratic Evaluation”, in Ryan K. E., De Stefano L. (eds.), 2000, Evaluation as a Democratic Process, in “New Directions for Program Evaluation”, n. 85, Jossey-Bass, San Francisco);

Patton M. Q., 2007, “Alla scoperta dell’utilità del processo”, in Classici della valutazione, a cura di Nicoletta Stame, Franco Angeli, Milano (traduzione di Discovering Process Use, 1998, in “Evaluation”, vol 4, n. 2, Sage Publications).

Torrigiani, C., in corso di stampa, “Partecipazione e valutazione partecipata”, in La

partecipazione fra ricerca e valutazione, a cura di Mauro Palumbo e Claudio Torrigiani, Franco Angeli, Milano.

Sessione VI – Roma, 25 novembre 2008

APPREZZARE GLI EFFETTI DEI PROGRAMMI E DEI PROGETTI PER LO SVILUPPO REGIONALE: CAMPI

DI UTILIZZAZIONE, PRESUPPOSTI E LIMITI DELLA MATRICE DI CONTABILITÀ SOCIALE (SAM) Quali settori possono beneficiare (o essere danneggiati), ed in quale misura, dai programmi pubblici di investimento? Come si distribuiscono nell’economia e nella società tali effetti? Tra i metodi elaborati per rispondere a tali domande si trovano quelli basati sull’utilizzazione delle Matrici di Contabilità Sociale (SAM). Lo strumento ambisce a stimare i possibili effetti di un intervento nell’economia, che descrive in modo stilizzato, ed a fornire indicazioni sulla possibile distribuzione degli effetti. Presenta, poi, il vantaggio di poter essere utilizzato per la stima di effetti non monetari di programmi e progetti, come, p.e., le emissioni di CO2. Dotato di elevata complessità tecnica, il metodo si presta bene all’elaborazione e comunicazione di messaggi sintetici per il decision-maker. Tale caratteristica, tuttavia, rende necessaria una grande precauzione nell’utilizzazione dei risultati ottenibili. Il seminario fornisce un orientamento per l’utilizzazione di questo strumento nel supporto alla decisione. Nella prima parte saranno presentati i concetti fondamentali per la costruzione delle SAM a livello nazionale e regionale. Facendo riferimento alle recenti esperienze regionali di utilizzazione per le valutazioni ex ante, sarà esplorata l’utilizzabilità dello strumento nell’ambito delle valutazioni degli interventi della politica regionale: a quali domande si può rispondere, con quali cautele nel rapporto con i decision-makers, in quali casi può essere impiegato, da chi e in quali contesti istituzionali. Nel pomeriggio, il seminario, attraverso una trattazione dei temi legati alla costruzione ed utilizzazione dei sistemi informativi in generale ed uno studio di caso, affronterà l’argomento dei requisiti informativi indispensabili per costruire sistemi informativi, tra cui, appunto, le SAM. La natura dello strumento, infatti, rende questo aspetto particolarmente delicato. Obiettivi della sessione: • Individuazione delle condizioni che rendono le SAM utilizzabili nel supporto alla

decisione sui programmi della politica regionale • Conoscenza degli elementi fondamentali di una Matrice di Contabilità Sociale • Conoscenza e condivisione dei presupposti e requisiti informativi.

12

Docenti: Sara Savastano e Cataldo Ferrarese (Università degli Studi di Roma “Tor Vergata”); Gerardo Baione (IPI); Mauro Masselli (Rete dei Nuclei di valutazione degli investimenti).

Testi consigliati Caramaschi Elena, (2004), Matrice di contabilità sociale e distribuzione del reddito.

Un’applicazione al caso italiano, disponibile all’indirizzo internet http://www.irpet.it/index.php?page=pubblicazione&pubblicazione_id=29 Casavola P. , Masselli M., (2002), Quali statistiche territoriali per la valutazione degli

investimenti pubblici Ferrarese C., Vezzani A., (2005), La regionalizzazione della Matrice di Contabilità Sociale Masselli M. (2003), Corso “zero” di statistica. Mimeo Maiolo S., Scandizzo P., (2006), La valutazione di impatto economico di progetti industriali

ed infrastrutturali attraverso la Matrice di Contabilità Sociale (SAM) Scandizzo P., (2006), Le matrici di contabilità sociale regionali: una nuova metodologia di

stima.

Sessione VII – Roma, 21 gennaio 2009

PIANI, DOMANDE E MANDATI DI VALUTAZIONE: L’APPLICAZIONE RIGOROSA

DEGLI APPROCCI E DEI METODI.

Questa sessione si propone di fornire ai partecipanti gli strumenti necessari per elaborare, sulla base delle esigenze espresse dagli attori, domande che orientino il lavoro dei valutatori. La sessione, quindi, al fine di accompagnare i partecipanti nello svolgimento di tale compito, raccoglierà ed utilizzerà gli spunti teorici emersi nelle sessioni precedenti. Il percorso formativo è stato disegnato tenendo conto delle richieste, diverse da quelle riscontrate nei periodi precedenti di programmazione, cui le amministrazioni ed i Nuclei di Valutazione dovranno rispondere nel corso del periodo di programmazione 2007-2013: - focalizzarsi sulla valutazione ex post degli effetti della politica regionale; definire Piani

delle valutazioni attraverso i quali le amministrazioni ed i loro partner sociali ed istituzionali selezionino cosa si valuta (e, di conseguenza, cosa non costituirà oggetto di valutazione);

- elaborare domande di valutazione centrate su questioni critiche e concrete, evitando domande generiche o focalizzate meramente su fonti finanziarie;

- prendere in considerazione le posizioni dei soggetti interessati alla politica regionale (ed in particolare di coloro che usufruiscono degli interventi) nel definire i Piani, nell’elaborare le domande valutative e nel condurre le valutazioni.

Per rispondere a queste aspettative il percorso è stato impostato secondo i seguenti principi: - la valutazione degli effetti possiede proprie caratteristiche che la distinguono dalla

valutazione ex ante e dalla valutazione in itinere; - la valutazione degli effetti può essere condotta attraverso vari approcci valutativi; - non esiste un approccio che sia adatto a tutte le situazioni (tipi di interventi valutati,

domande di valutazione), ma ogni valutazione richiede un apposito disegno di valutazione, “cucito su misura”, come è stato detto nella prima sessione (Stame).

13

Ciascuna sessione (tranne la prima, dedicata alla descrizione del corso e la sesta, dedicata alle caratteristiche dei sistemi informativi ed alle matrici SAM) ha affrontato un singolo approccio alla valutazione ex post degli effetti, evidenziando le situazioni in cui esso risulta idoneo: - l’analisi controfattuale (seconda sessione: Martini e Agodini) - la valutazione realista (terza sessione: Leone e Biolcati) - la valutazione basata sulla teoria (quarta sessione: Befani e Accorinti) - la valutazione partecipata (quinta sessione: Torrigiani). Questa settimo incontro intende prendere spunto dai temi individuati nei Piani per ragionare su: come formulare le domande di valutazione; come formalizzare la domanda di valutazione in un mandato indirizzato ad una struttura interna (Nucleo di valutazione) o a soggetti esterni; quali siano gli elementi indispensabili per applicare ciascun approccio in modo rigoroso e tale da massimizzarne i vantaggi; come aumentare la partecipazione nella valutazione degli attori principali sul singolo territorio. La sessione si articolerà in una serie di lavori di gruppo che consentiranno ai partecipanti di utilizzare gli spunti provenienti dai precedenti seminari in un contesto quanto più possibile aderente alla realtà. I gruppi saranno affiancati da docenti, ciascuno specializzato in un approccio, che li aiuteranno nell’esaminare le implicazioni (in termini di tempi, risorse, esigenze metodologiche), i vantaggi e gli svantaggi di ciascun approccio ed evidenzieranno lezioni da tenere presente nella definizione dei mandati. Obiettivi della sessione: Orientamento all’applicazione degli elementi teorici oggetto delle precedenti sessioni

nella pratica del lavoro valutativo dei Nuclei e delle amministrazioni Accompagnamento all’attuazione dei Piani delle valutazioni Individuazione degli elementi metodologici ed organizzativi necessari per l’applicazione

rigorosa di ciascun approccio valutativo Docenti: Ferruccio Biolcati-Rinaldi (Università degli Studi di Milano); Paola Casavola (Esperto indipendente); Filippo Ciucci (Università degli Studi di Genova); Liliana Leone (CEVAS); Luca Mo Costabella (PRO.VA.); Nicoletta Stame (Università degli Studi di Roma “Sapienza”). Testi consigliati Rossi P.H., Freeman H., Lipsey M.W., (2007), Costruire le valutazioni “su misura”, Classici

della valutazione, a cura di Nicoletta Stame, Franco Angeli, Milano (traduzione di “Tailoring Evaluation”, 1999, in “Evaluation, a Systematic Approach”, Sage Publications).