Firma convenzione

Politecnico di Milano e Veneranda Fabbrica

del Duomo di Milano

Aula Magna – Rettorato

Mercoledì 27 maggio 2015

Aprire dati sui finanziamenti e su

realizzazioni e risultati di singoli

interventi pubblici

16 ottobre 2015 2

Valutare e presentare i risultati degli interventi pubblici: principi

guida, esperienze a confronto, criticità e possibili evoluzioni

Presentare alcuni elementi di riflessione su due argomenti logicamente intrecciati:

• il tema della valutazione dei risultati degli interventi pubblici

• Il tema della rappresentazione e comunicazione di questi risultati.

Vedremo nel corso della presentazione che:

• è evidente una esigenza ed uno sforzo per lo sviluppo di indicatori adeguati, attendibili, comparabili

Ma non sono del tutto risolti alcuni problemi metodologici e di processo perché le valutazioni che si basano su quei dati siano corrette;

• Sono state sviluppate alcune iniziative per promuovere trasparenza ed accountability degli interventi pubblici, a livelli differenti di sviluppo.

A che punto siamo, con alcune esperienze di livello nazionale ed europeo;

• Vedremo due pratiche extra-europee per per contribuire al dibattito sulle evoluzioni possibili degli interventi che legano valutazione dei risultati e accountability.

16 ottobre 2015 3

Valutare e presentare i risultati degli interventi pubblici: principi

guida, esperienze a confronto, criticità e possibili evoluzioni

Premessa:

• Valutazione come snodo fondamentale del “ciclo di policy”, in tre momenti chiave:

Ex ante, in itinere, ex post

• Ruolo: capire se e in che misura un intervento pubblico consentirà/ha consentito di affrontare un problema, una domanda, una opportunità di intervento

Implicazioni: Non limitarsi ad osservare i disegni formali e obiettivi astratti, ma

analizzare i processi ed i risultati ottenuti per giudicare gli interventi pubblici (Pressman & Wildawski)

Adottare appropriate metriche di giudizio (indicatori) e dati

adeguati ad alimentarli

16 ottobre 2015 4

Il ruolo della politica comunitaria per la diffusione della valutazione

• La valutazione ha stentato a lungo ad affermarsi in Italia

• Un forte impulso è stato dato dalle politiche comunitarie, che hanno introdotto regole, processi, strumenti, metodi

• (es. Evalsed: EVALSED: The resource for the evaluation of Socio-Economic Development)

• Nell’ambito di un più ampio dibattito internazionale, in particolare anglosassone

Obiettivi fondamentali della valutazione in ambito europeo:

Miglioramento: migliorare l’efficacia e l’efficienza degli interventi in termini di capacità di contribuire allo sviluppo

Accountability: rendere conto delle opportunità e dell’utilizzo dei fondi europei, in un’ottica di trasparenza e contrasto agli sprechi

16 ottobre 2015 5

Valutazione e misurazione in UE: alcune tappe di un percorso “in

corso”

• 1976: prima valutazione realizzata sul FESR, 80 pagine, obiettivo: capire la destinazione degli interventi finanziati dal fondo per lo sviluppo regionale

• 1994-99: introduzione della valutazione in modo sistematico all’interno dei programmi europei

• 2000-06: valutazioni ex ante, in itinere, ex post dei programmi operativi con responsabilità specifiche delle autorità di gestione;

• 2007-13: introdotto il “principio di proporzionalità”, valutazioni basate sui bisogni degli stati e delle Regioni; rafforzamento della valutazione come strumento manageriale collegato al ciclo di policy; introdotti anche i “core indicators”, misure basilari di output e outcome per aggregazioni e comparazioni

• 2014-20: maggiore attenzione agli indicatori di risultato; lista di “common indicators” obiettivo, sommare i contributi degli Stati Membri per ottenere misure riferibili al complesso dell’intervento cofinanziato

Grande attenzione sulla quantificazione dei risultati, ma ancora alcuni limiti

significativi I nuovi regolamenti prevedono l’introduzione di un portale web unico per le

politiche comunitarie in ogni Stato membro: quali contenuti?

16 ottobre 2015 6

Quali indicatori per una corretta valutazione?

Molta attenzione allo sviluppo e raccolta di indicatori comuni e specifici per ciascun programma

Ma ancora alcuni disallineamenti metodologici, e alcuni problemi pratici per la qualità dei dati

Principalmente tre categorie di indicatori:

- Indicatori gestionali

Es. livello di spesa; valori cumulati degli output realizzati

- Indicatori di output/prodotto/realizzazione

Def: i prodotti diretti dei programmi/interventi

Es. km di strada/ferrovia

- Indicatori di outcome/risultato

Def: Ciò che si intende modificare grazie al contributo dell’intervento pubblico, in termini di benessere e progresso per le persone

Es. Il tempo necessario per viaggiare da W a Y ad una velocità media (ambito mobilità)

16 ottobre 2015 7

Indicatori comuni per il 2014-20: alcuni esempi e limiti

(FESR reg. 1301/13)

Non output ma outcome

Come si misurano? Chi raccoglie i dati?

16 ottobre 2015 8

Esempio di indicatori comuni FSE

(Reg. 1304/2013)

• Sono indicatori di processo, non di prodotto • Quale significatività dell’indicatore “numero di progetti”, in

termini di comparabilità? • E’ però un indicatore facile da raccogliere e su cui stimare un

target atteso

16 ottobre 2015 9

Esempio di indicatori comuni FSE

(Reg. 1304/2013)

• Un lavoro di quale durata? • In quale relazione con l’intervento formativo? • …

16 ottobre 2015 10

Aggregare i dati a livello europeo è complesso:

Risultati (preliminari) della politica di coesione 2007-13

FESR:

• 200.000 progetti di PMI

• 80.000 imprese in fase di avviamento

• Banda larga a 5 milioni di persone

• 5,5 milioni di persone incluse nei servizi di trattamento delle acque reflue

• Cofinanziamento della costruzione di 3000 km di reti di trasporto europee

FSE:

• 5.7 milioni di persone aiutate a trovare lavoro,

• 8.6 milioni ad ottenere una qualificazione

• Contributo alla creazione di 400,000 start-up/auto impiego

(Fonte: Sixth Report On on Economic, Social and Territorial Cohesion)

http://ec.europa.eu/regional_policy/en/information/publications/reports/2014/6th-report-on-economic-social-and-territorial-cohesion)

16 ottobre 2015 11

Dove si trovano le evidenze di questi risultati?

Una molteplicità di fonti e livelli di informazione:

• Nel sistema di monitoraggio europeo ed in quelli dei 28 stati e delle 277 regioni

• Nei Rapporti Annuali di Implementazione (AIR), obbligatori per ogni Programma

operativo a cura dell’Autorità di gestione

• Nei rapporti di valutazione ex ante, in itinere, ex post dei PO

Tra il 2007 e il 2013 sono state promosse 821 valutazioni dei PO FESR e 721

valutazioni dei PO FSE

• Nelle valutazioni promosse dalla DG Regio (11 valutazioni ex post attualmente in

corso)

• Nei documenti e nelle informazioni di singoli progetti e beneficiari

Da qualche anno, primi tentativi di aggregazione delle informazioni nei portali web

dei Paesi membri e nel portale della DG Regio

Accountability negli Stati membri: le

esperienze di Galles, Grecia e

Finlandia

16 ottobre 2015 13

I portali nazionali

• Attivazione di portali web nazionali che raccolgono informazioni e dati

sui programmi operativi, a diversi livelli di complessità e dettaglio: Reg. 1303/2013: Garantire la creazione di un sito web unico o di un

portale web unico che fornisca informazioni su tutti i programmi operativi di uno Stato membro e sull’accesso agli stessi

Pubblicizzare pressi i cittadini dell’Unione il ruolo e le realizzazioni della politica di coesione e dei fondi mediante azioni di informazione e comunicazione sui risultati e sull’impatto degli accordi di partenariato, dei programmi operativi e delle operazioni

Mantenere ai fini di trasparenza un elenco delle operazioni suddivise per programma operativo e fondo (foglio elettronico)

16 ottobre 2015 14

Cosa contengono: il portale del Galles

Informazioni su i progetti finanziati

Talvolta inclusi target e risultati raggiunti

Assistenza a coloro che vogliono presentare un

progetto

http://wefo.gov.wales/?lang=en

16 ottobre 2015 15

Cosa contengono: il portale della Grecia

http://www.anaptyxi.gov.gr/

Dati finanziari dal sistema di monitoraggio Aggiornamento dal sistema di monitoraggio

Informazioni sui progetti, con risultati (se descritti dai beneficiari) Informazioni aggiuntive ove richieste vengono sottoposte alle AdG

16 ottobre 2015 16

Cosa contengono: il portale della Finlandia (eura2007.fi; eura2014.fi)

Obiettivo: rendere pubbliche le informazioni relative ai progetti finanziati

Informazioni contenute

2007-2013 2014-2020

anagrafica di progetto, partner, aree geografiche coinvolte, gruppi target, il finanziamento ricevuto; in alcuni casi, valore degli indicatori effettivamente raggiunti

comunicazione del progetto e diffusione delle buone pratiche

rispetto dell’uguaglianza di genere

sintesi della relazione finale principi di sviluppo sostenibile

https://www.eura2014.fi/rrtiepa/ (2014) https://www.eura2007.fi/rrtiepa/ (2007)

Uno sguardo oltre oceano:

Medicare.gov – Hospital Compare

16 ottobre 2015 18

Medicare.gov

https://data.medicare.gov/

Esplorare e scaricare i dati da medicare.gov

Trovare un dottore, un ospedale, un provider o un programma

16 ottobre 2015 19

Medicare.gov – Hospital Compare

Obiettivi:

• Aiutare gli utenti a prendere decisioni su dove ricevere

assistenza medica

• Incoraggiare gli ospedali a migliorare la qualità

dell’assistenza fornita

https://data.medicare.gov/Hospital-Compare/Ambulatory-Surgical-Measures-Facility/4jcv-atw7

Considerazioni finali

16 ottobre 2015 21

Considerazioni finali

• I nuovi portali per le politiche di sviluppo danno un forte impulso alla trasparenza e accessibilità delle informazioni sulla politica comunitaria per i cittadini UE

• Potenzialmente, costituiscono un “luogo” dove presentare i risultati in maniera aggregata e comparabile

• Oggi i portali di alcuni Pesi membri mostrano • Sviluppo e completezza di informazioni generali sui programmi UE

in corso • Descrizione di progetti specifici, di cosa trattano e chi riguardano • Quasi sempre, indicatori di tipo finanziario aggregati • In alcuni casi, georeferenziazione di progetti • In alcuni casi, target da raggiungere per i progetti; • Raramente, indicatori di output e outcome per i progetti • Possibilità di interazione limitata con il pubblico (risposta ad

informazioni tramite infomail)

16 ottobre 2015 22

Considerazioni finali

• Portale DG Regio • Core/common indicators “multilivello” • Georeferenziazione • Alcune limitate possibilità di feedback da parte di alcuni stakeholder • Sviluppo: benchmark tra programmi, paesi per stimolare la competizione e

il “naming and shaming” • Piste di lavoro dalle esperienze USA:

• Sempre maggiore apertura di dati e informazioni al grande pubblico • Indicatori non solo quantitativi ma anche qualitativi • Inclusione di feedback da parte degli utenti

• Su cosa lavorare: • Su indicatori significativi, attendibili, comparabili per temi specifici • Sulla capacità di trattare ed utilizzare dati e indicatori da parte di chi

realizza interventi pubblici • Come strumento di (auto)valutazione e non solo di accountability formale