Upload
others
View
13
Download
0
Embed Size (px)
Citation preview
Metodi e tecniche
di valutazione dei progetti
Prof.ssa Isabella Santini
Parte A.
2
A. I processi di valutazioneMartini A., Sisti M., 2009, Valutare il successo delle politiche pubbliche , Il Mulino, Bologna.
B. Le politiche strutturali dell’UEMateriale distribuito dal docente
3
Parte A.
4
Finalità
Trattazione dei metodi analitici utili a dare un
giudizio empiricamente fondato sul successo di
una politica pubblica che persegue finalità di
cambiamento
Concetti generali
Analisi di implementazione (implementation analysis)
Analisi degli effetti (impact analysis)
5
I concetti generali
6
Definizione di valutazione
Attività tesa alla
produzione sistematica di informazioni
per dare giudizi su azioni pubbliche
con l’intento di migliorarle
7
i. Sistematicità nella produzione di informazioniFondamento empirico della valutazione
ii. Individuazione di un termine di confronto utile alla
formulazione di un giudizioQuale ?Perché ? Obiettivo da raggiungereCome ?
iii. Intento migliorativoSupporto alle decisioni per scelte più informate e consapevoli
iv. Attenzione alle esigenze conoscitive dei possibili
utilizzatoriSpecificità delle domande
8
Perché valutare ?
A quali domande si vuole dar risposta
per adottare quali decisioni
9
1.
2.
3.
4.
5.
10
1. Valutare per scegliere (Choice- ex ante)
Giudizio comparativo
Iter : scelti n oggetti (alternative) sottoposti a valutazione
* si stabiliscono i criteri di valutazione ;
* si assegna un valore a ciascun criterio
predefinito per ogni oggetto analizzato ;
* si aggregano i valori assegnati per ottenere
la valutazione finale.
Analisi costi-benefici
Analisi multi criteri
Decisione allocativa
11
1. Valutare per scegliere (Choice- ex ante)
Segue
Es.
Richiesta dall’UE per i Fondi Strutturali, il Fondo di Coesione
a) Definizione degli obiettivi
b) Identificazione del progetto
c) Analisi di fattibilità e delle opzioni
d) Analisi finanziaria
e) Analisi economica
f) Analisi multicriterio
g) Analisi di sensibilità e di rischio
12
13
Segue
1. Valutare per scegliere (Choice- ex ante)
Es.
Progetto comunitario volto a modificare
il sistema di trasporto e distribuzione di energia
0,4
3,0
14
2. Valutare per gestire (performance)
questa organizzazione sta svolgendo bene il compito che le è
stato affidato?
* individuazione degli aspetti dell’agire dell’organizzazione ;
* definizione degli indicatori utili a descrivere la performance ;
* determinazione degli standard per ciascun indicatore ;
* raccolta dei dati e costruzione degli indicatori ;
* interpretazione dei risultati .Controllo di gestione
Certificazione di qualità
Forme di accreditamento
Indagini di soddisfazione
15
3. Valutare per rendere conto
Trasparenza
Bilancio sociale
cosa è stato fatto dall’amministrazione per affrontare certi problemi collettivi?
Apparato informativo Fondi Strutturali Europei
es.
http://www.uniroma1.it/ateneo/governo/normativa-e-documenti/bilancio-sociale
www.poste.it/azienda/chisiamo/bilanciosociale.shtml
(es. www.dps.tesoro.it )
16
4. Valutare per apprendere (Learning)
a. Apprendimento rivolto alla collettivitàServe o non serve adottare questa soluzione per limitare l’entità di questo problema ?
b. Valenza retrospettivaGiudica decisioni ed attività del passato
c. Non ha finalità gestionali;
d. Non nasce per testimoniare all’esterno il corretto utilizzo delle risorse .
Attori esterni
Analisi di implementazione
Analisi degli effetti
17
5. Valutare per motivare
Partecipazione e motivazione
come è possibile motivare una certa collettività a muoversiverso una comune direzione di cambiamento ?
Action-Research
18
Politica
Policy
Politics
Sistema di relazioni competitive che si
instaurano tra soggetti (gruppi od individui ) che
ambiscono a conquistare il potere di assumere
delle decisioni in nome e per conto di una certa
comunità
Insieme di azioni decise da un attore o da un
gruppo di attori al fine di affrontare un
problema collettivo
Situazione che sia socialmente percepita come negativa, o
comunque insoddisfacente, e perciò meritevole di
cambiamento.
19
Valutare una politica pubblica
Valutare la capacità della politica
pubblica di ridurre le cause o di
alleviare i sintomi di una patologia che
essa tenta di combattere
Trattamento somministrato [….] per
curare/prevenire una malattia sociale
20
Valutare una politica pubblica
Individuare:
i. La patologia che motiva l’esistenza dell’intervento ;
ii. La specifica terapia adottata ;
iii. I pazienti da curare ;
iv. Il miglioramento che l’intervento intende produrre ;
v. I beneficiari dell’intervento.
21
Pazienti ≠ Beneficiari
Pazienti = Beneficiari
22
Modalità di lettura delle politiche
1. Livello di aggregazione
2. Attenzione che si intende dedicare al processo decisionale;
3. Politiche intese come
soluzioni volte ad affrontare problemi collettivi .
Specificità
Sommatorie di interventi
23
i) Analisi di implementazione
Produce giudizi su come l’intervento è stato
attuato
ii) Analisi degli effetti
Stima gli effetti prodotti dall’intervento
Ricerca sociale
Policy analysis
Economia
Statistica
Come valutare il successo delle politiche pubbliche
24
L’analisi d’implementazione
25
II. QUANDO SI DELEGA
TUTTO (O QUASI)
Interventi dalle finalità ampie
ed attuati con bando o altre modalità
di delega
I. QUANDO TUTTO CAMBIA
Grandi politiche di riforma
III. QUANDO SI SPERIMENTA
Progetti pilota
ed interventi dimostrativi
IV. QUANDO SI SA GIA’ SE LE COSE
STANNO FUNZIONANDO
Soluzioni mirate
di cui si conoscono i risultati
Composite
Uniformi
Di nuova adozione Da tempo a regime
26
i. La riforma è stata applicata come previsto ?
ii. Gli obiettivi erano chiari a tutti i soggetti coinvolti ?
iii. Quali comportamenti sono stati adottati per agevolare l’adozione di nuove regole ?
iv. Quali per contrastarle ?
v. Chi ha tenuto tali comportamenti ?
vi. Quali sono state le principali difficoltà incontrate e quali soluzioni sono state individuate per farvi fronte ?
Quando tutto cambia
Istituzione dei centri per l’impiego
27
Quando si delega tutto (o quasi)Aggregate multisite program
i. In che modo i soggetti finanziati utilizzano le risorse a loro disposizione ?
ii. Come hanno reinterpretato l’ampio mandato che è stato loro assegnato ?
iii. Quali soluzioni hanno adottato ?
iv. A favore di chi ?
v. Quali risultati hanno raggiunto ?
28
Quando si sperimenta
Verifica di fattibilità di una soluzione di policy
Analisi di implementazione e degli effetti
29
Quando si sa già se le cose stanno funzionando
i. Quali sono i fattori che hanno aiutato oppure impedito la produzione degli effetti previsti ?
ii. Su quali settori della popolazione target l’intervento sembra avere inciso con maggior forza ?
iii. Chi ha risposto meglio al trattamento e perché ?
iv. L’intervento ha prodotto conseguenze indesiderate ?
v. Ha dato luogo a comportamenti opportunistici ?
Analisi dei meccanismi causali
30
Tipo di valutazione
Formativa Conclusiva
Finalità Intervenire direttamente nel
processo d’attuazione
di una politica
Esprimere un giudizio di
merito dopo che la
politica è stata attuata
Utilizzatori Staff di persone impegnate
nel dare attuazione alla
politica
Policy makers,
finanziatori,
contribuenti
Ruolo della valutazione Interno all’organizzazione
e vicino agli operatori
che gestiscono la
politica
Esterno
all’organizzazione ,
indipendente
Valutatori ed utilizzatori Interazione frequente Interazione rara
Natura del prodotto Non pubblico e
confidenziale
Pubblico ed accessibile
31
Quando è necessario indagare
in merito all’attuazione di una politica ?
i. Livello di innovazione organizzativa
ii. Numerosità degli attori
iii.Grado di conflittualità
iv.Onere imposto sui destinatari della politica
v. Incertezza nel disegno
32
Organizzare una valutazione
Analisi di implementazione
Analisi degli effetti
a. Descrizione delle attività da realizzare ;
b. Esplicitazione delle ipotesi su ciò che accadrà in seguito a tali realizzazioni
c. Spiegazione delle motivazioni che stanno alla base di tali ipotesi
Modello logico
Teoria del cambiamento
Se …………………….allora…………..
33
34
i. Lettura dei documenti elaborati prima e subito dopo il varo
dell’intervento ( resoconti di riunioni, regolamenti, reports
finanziari,….);
ii. Intervista alle persone coinvolte nel disegno dell’intervento
Modello logico : metodologia
35
1. Come è nata l’idea di realizzare questa politica ?2. Chi ne ha proposto l’adozione ? In quale modo e in che tempi ?3. Esistevano già politiche simili ? In cosa questa si differenzia dalle
altre ? Perché si è pensato che questo fosse il momento giusto peravviare una politica di questo tipo ?
4. A chi si rivolge l’intervento ? Esistono dei requisiti particolari perpartecipare alla politica ? Viene fatta una selezione ? Di che tipo echi se ne occupa praticamente ?
5. Cosa comporta la partecipazione alla politica per i beneficiari ? Cosadevono fare ? Cosa ricevono ?
6. Qual è lo scopo che si intende raggiungere ? Quali concreti risultati sivogliono ottenere ?
7. Si può andare incontro a qualche conseguenza indesiderata ? Di chetipo ?
8. Quali organizzazioni si prevede di coinvolgere nell’attuazione ?Quali procedure di lavoro seguiranno ?
9. Cosa potrebbe andare storto durante l’attuazione ? Cosa potrebbebloccarne lo sviluppo ?
10.Qualcuno era contrario all’adozione della politica ? Chi e per qualemotivo ?
36
Perché il valutatore può sbagliare ?
1.Confusione di ruoli ;
2.Pochi intervistati con conoscenze superficiali ;
3.Attenzione esclusiva ai numeri ;
4. Impiego meccanico del modello logico .
37
Programma Car Sharing
38
39
1
40
41
2
42
43
3
44
45
4
46
47
5
48
49
6
50
51
Le domande sull’implementazione
52
Politica finanziata dal
Department of Health and Human Services
del governo federale americano al fine di rendere più
stabili i rapporti di coppie non sposate con figli neonati.
Building Strong Families
53
Building Strong Families
Finalità della valutazione
apprendere se certi servizi di sostegno offerti a coppie
non sposate con figli neonati possono rafforzare il
legame tra i partner ed aiutarle a costruire una vita
matrimoniale soddisfacente
54
Building Strong Families
Servizi offerti
a) Partecipazione a sessioni di gruppo ;
b) Assistenza di un family coordinator ;
c) Aiuto continuo nelle pratiche burocratiche per la ricerca
di servizi di sostegno.
55
1.Preparazione della politica :
Modalità in cui gli enti si sono organizzati per erogare i servizi.
2. Selezione dei beneficiari :
Modalità di contatto delle coppie candidate al trattamento ; caratteristichesocio-demografiche delle coppie ; tasso di abbandono e motivazioni.
3. Erogazione del trattamento:
Servizi offerti e differenze locali; tassi di abbandono; valutazione delle coppie .
4. Reazione dei beneficiari e dell’ambiente circostante :
Analisi dell’evoluzione delle relazioni di coppia.
Building Strong Families Le domande sull’implementazione
56
Obiettivi conoscitivi analisi di implementazione (Werner, 2004)
i. Descriverecosa è stato realizzato
chi sono i responsabili
chi ne riceve i benefici/ne subisce le conseguenze
ii. Giudicarese corrisponde al disegno ideale
iii. Spiegare perché un intervento funziona/non funziona
Attività tesa alla produzione
sistematica di informazioni per dare
giudizi su azioni pubbliche con
l’intento di migliorarle
57
Ci aiuti a capire cosa è successo
Descrivere cosa è stato realizzato
Unità di analisi
a. I soggetti attuatori
b. I trattamenti erogati
c. I destinatari dell’intervento
58
Cosa osservare ?Quando osservare ?Come osservare ?Attraverso quali occhi osservare ?
Monitoraggio
Documentare in modo sistematico l’evolversi di
alcuni aspetti chiave della messa in opera di una
politica pubblica
Quale utilizzo si intende fare dell’informazione raccolta ?
59
Cosa osservare ?
Unità di analisi
Soggetti attuatori Trattamenti erogati Destinatari
1. Competenze 1.Modalità 1..Caratteristiche
2.Struttura organizzativa 2.Tempo 2.Atteggiamenti
3.Collegamenti 3.Costo 3.Relazioni
60
• in quali momenti ?
• con quale cadenza ?
• per quanto tempo ?
Quando osservare ?
61
Counseling psicologico offerto agli studenti
Destinatari del trattamento (cadenza variabile)
i. individuazione dei candidati al trattamento;ii. informazione ai candidati della possibilità di fruire del servizio;iii.richiesta del servizio di counseling;iv.partecipazione al trattamento;v. chiusura del trattamento;vi. follow-up sulle condizioni dello studente.
Soggetti attuatori (cadenza fissa)
i. prima che la politica abbia inizio sui docenti;ii. dopo un primo periodo di addestramento e di avvio del
servizio su docenti e psicologi ;iii.a conclusione dell’anno scolastico ;iv.a metà anno scolastico successivo.
62
Come osservare ?
• standardizzata
In forma
Distribuzioni di frequenza
Indici statistici
Grafici
• non strutturata
Documentazione
Interviste aperte
63
Building Strong Families
Informazioni
quantitative
qualitative
64
Building Strong Families
Informazioni quantitativeLocalità % coppie presenti
al primo incontro
Percorso terminato
> 80%
Ore frequenza
1. Atlanta (a) 79 23 21,6
2. Atlanta(b) 70 40 29,4
3.Baltimore 61 12 19,1
4. Baton Rouge 64 30 21,8
5. Broward County 65 3 12,9
6. Orange County 61 7 16,0
7. Allen County 50 20 25,8
8. Lake County 50 0 19,0
9. Marion County 40 15 28,2
10. Oklaoma City 80 40 24,3
11. Houston 43 3 20,0
12. San Angelo 57 12 25,1
Tutte le località 61 16 20,7
65
Building Strong Families
Informazioni qualitative
• analisi della documentazione ;
• interviste semi-strutturate.
66
Attraverso quali occhi osservare ?
• Valutatore
• Osservatore ad hoc
• Attore protagonista
• Testimone esterno
67
Giudicare
• Aspettative dei policy makers
• Opinioni dei beneficiari
Target quantitativi fissati ex-ante
Target (anche quantitativi) fissati
in corso d’opera
• Esperienza altrui
Valutazioni precedenti
Giudizi di esperti
68
Building Strong Families
69
Spiegare
• Perché alcune delle attività pianificate sono state omesse ?
• Perché alcuni enti hanno deciso di adottare proprio quella procedura per erogare il trattamento ?
• Perché gli attori sono entrati in conflitto tra loro ?
• Perché parte dei destinatari potenziali non hanno partecipato alla politica ?
• Perché l’intervento ha avuto una diffusione diseguale sul territorio ?
• Perché per alcune categorie di beneficiari l’intervento sembra aver funzionato meglio che per altre ?
• Perché si sono manifestate conseguenze indesiderate ed inattese ?
Causalità
70
Spiegare processo di analisi
a. Generare ipotesi alternative sui motivi che hanno portato al
manifestarsi di certi accadimenti ;
b. Individuare , tra le varie ipotesi formulate, quelle più plausibili e
convincenti, sulla base dell’evidenza empirica raccolta;
c. Fornire indicazioni per un possibile cambiamento nelle modalità
attuative così da rimuovere le cause di insuccesso.
Spiegare
• con il confronto;
• con interviste agli interessati.
71
1. Modalità di coinvolgimento 2. Motivazioni dei destinatari
• Troppo tempo dal contatto al primo
incontro
• Problemi legati allo stato di
gravidanza o alla cura del neonato
• Nessun recall prima dell’incontro • Difficoltà nel far conciliare i tempi di
lavoro con la partecipazione alle
sessioni di lavoro
• Orari delle lezioni che ostacolano la
frequenza
• Riluttanza a mettersi in discussione
in una situazione di gruppo
• Scelta di sedi distanti dalle abitazioni
• Nessun concreto beneficio a
compensare il costo determinato
dalla partecipazione
72
Analisi dell’implementazione
Tecniche per la raccolta dei dati
i. Lettura dei documenti prodotti nel corso dell’attuazione
ii. I dati amministrativi
iii.Questionari standardizzati
iv. I diari
v. Il Metodo Delphi
i. In-depth interview
ii. Focus group
iii.Metodi etnografici e osservazioni on site
73
Tecniche per la raccolta dei dati
i. Lettura dei documenti prodotti nel corso dell’attuazione
Atti ufficiali e nonGlossario
Elenco cronologico
Come sono stati interpretati gli obiettivi della politica dai diversi soggetti attuatori ?Vi sono stati momenti di conflitto o di tensione tra le organizzazioni ?Quali regole o procedure sono state adottate per facilitare l’applicazione dell’intervento ?
Fase
di
preparazione
della politica
74
ii. I dati amministrativi
Tecniche per la raccolta dei dati
Quanti sono coloro che hanno richiesto un servizio ?Quanti coloro che sono stati ammessi o esclusi ?Quali sono le loro caratteristiche ?
Fase di
selezione
dei
beneficiari
Quanti trattamenti sono stati erogati ?In che tempi ?Con quali costi ?
Fase di
somministrazione
del trattamento
Poco attendibiliNon registratiNon conservatiSensibili
75
Tecniche per la raccolta dei dati
iii. Questionari standardizzati
Quesiti a risposta chiusaQuesiti a risposta puntualea.
AutocompilatiSomministrati
b.
Fase di selezione dei beneficiari
Fase di erogazione del trattamento
Fase di reazione all’intervento
76
Tecniche per la raccolta dei dati
iv. I diari
Fase di selezione dei beneficiari
Fase di erogazione del trattamento
Fase di reazione all’intervento
77
Tecniche per la raccolta dei dati
v. Il Metodo Delphi
Fase di preparazione della politica
Fase di reazione all’intervento
Il metodo Delphi è una tecnica di raccolta
d’informazioni che riproduce “artificialmente”
il dibattito spontaneo (Jantsch, 1969).
Il metodo Delphi è una tecnica usata per ottenere risposte ad un
problema da parte di un gruppo (panel) di esperti indipendenti
attraverso più passaggi. Dopo ogni passaggio un amministratore
fornisce un anonimo sommario delle risposte degli esperti e le
loro ragioni. Il processo si arresta quando si raggiunge consenso.
78
Tecniche per la raccolta dei dati
i. In-depth interview
a. Intervista informale
b. Intervista semi-strutturata o guidata
c. Intervista strutturata
1. La scelta dell’intervistato
2. La costruzione della traccia dell’intervista
3. La scelta delle modalità di contatto
dell’intervistato e della sede
dell’intervista
4. La conduzione dell’intervista
5. L’analisi della documentazione empirica
Fase di
preparazione della
politica
-Come hannointerpretato gliobiettivi della politica :- Con quale frequenzagli enti attuatoricomunicano tra loro ecome interagiscono ?- Vi sono statimomenti di tensione edi conflitto ?
79
Tecniche per la raccolta dei dati
ii. I “focus groups”
Intervista collettiva gestita da
a. moderatore;
b. rilevatore .
Fase di analisi dei risultatiPerché la politica non ha trovato attuazione ?Perché sembra aver trovato attuazione solo in alcuni contesti ?
80
Tecniche per la raccolta dei dati
iii. I metodi etnografici e le osservazioni “on site”
Osservazione partecipante
non partecipante
81
82
L’analisi degli effetti
83
Valutare gli effetti delle politiche
Verificare la capacità di una politicapubblica di modificare nella direzionedesiderata i comportamenti o le condizionidi una determinata popolazione didestinatari
Effetto su cosa
Effetto di cosa
84
Valutare gli effetti delle politiche
Misurabilità della dimensione
su cui la politica vuole
incidere
1.
Definizione delle dimensioni 2.
Individuazione delle variabili
a. risultato (outcome variables)
b. trattamento
3.
Misura della differenza tra ciò che è accadutodopo l’attuazione della politica (fattuale) e ciòche sarebbe accaduto se quella stessa politicanon fosse stata realizzata (controfattuale).
Nesso causale
85
Un esempio : le borse - lavoro
Politica : erogazione di borse lavoro della
durata di un anno con l’obiettivo delreinserimento lavorativo .
Attività : i beneficiari ricevono un
sussidio mensile di 500 € per 100 ore.
Valutazione : l’offerta di una borsa-
lavoro serve realmente a reinserire nelmercato del lavoro gli ex-tossicodipendenti ?
86
Un esempio : le borse - lavoro
Ovvero
qual è l’effetto della borsa sul reddito dalavoro dei beneficiari l’anno successivoalla fruizione della borsa ?
e sulla probabilità di avere unaoccupazione a tempo indeterminato ad unanno di distanza dalla conclusioneprevista della borsa lavoro ?
87
Un esempio : le borse - lavoro
Numero di
borse-lavoro
erogate
Anno 2000
Numero di
interviste
effettuate
Anno 2002
(follow up)
Tasso
di risposta
Reddito
annuale medio
Anno 2001
% occupati stabili
a fine 2001
728 627 86,1% € 9.835 32,4
Indicatori di impatto
“I dati mostrano come le borse-lavoro abbiano avuto un impatto significativosulla situazione reddituale e lavorativa dei beneficiari delle borse che hannoavuto un reddito medio di € 9.835 con un 32,4% occupato a tempoindeterminato a fine 2001”
Valori fattuali e i controfattuali ?
88
Un esempio : le borse - lavoro
Beneficiari nel 2000
Intervistati nel 2002
Reddito annuale medio
1999 2001
627 € 5.642 € 9.835
Variazione assoluta € 4.193
Variazione percentuale 74,3%
“I dati mostrano come le borse-lavoro abbiano avutoun impatto significativo sulla situazione redditualedei beneficiari delle borse che hanno avuto un redditomedio di € 9.835 che rispetto ai € 5.642 del 1999rappresenta un incremento di € 4.193 pari al 74,3%.E’ chiaro come questi effetti positivi giustifichino laspesa sostenuta dall’amministrazione regionale per leborse -lavoro”
?
89
Un esempio : le borse - lavoro
?Cautela nell’interpretazione
Possibile dinamica spontanea
90
Un esempio : le borse - lavoro
Domande presentate
Anno 1999
Numero di interviste
effettuate
Tasso di risposta
(%)
Reddito annuale medio
Anno 2001
% Occupati stabili
fine 2001
Beneficiari
borsa-lavoro
728 627 86,1 € 9835 32,4
Esclusi
borsa-lavoro
1426 1098 77,0 € 7503 23,6
“I dati mostrano come le borse-lavoro abbiano avutoun impatto significativo sulla situazione redditualee lavorativa dei beneficiari delle borse che hanno avutoun reddito medio di € 2.332 superiore (+ 31%) aquello dei richiedenti esclusi dalla borsa permancanza di fondi. Inoltre ben il 32,4% deibeneficiari della borsa ha un lavoro a tempoindeterminato alla fine del 2001, contro il 23,6%degli esclusi.”
?
91
Un esempio : le borse - lavoro
?Cautela nell’interpretazione
Distorsione da auto selezione
92
Un esempio : un programma di recupero urbano
Politica : programma di recupero urbano
per ridurre gli atti di vandalismo .
Attività : 50 quartieri (in altrettante città)
interessati nel periodo 2000-04 da un programma direcupero urbano.
Valutazione : il programma ha ridotto
gli atti vandalici ?
93
Indicatori di impatto
Un esempio : un programma di recupero urbano
Quartieri Numero Atti vandalici denunciati
per 100.000 abitanti
Anno 2000 Anno 2004 Differenza
Trattati 50 62,90 66,37 + 3,47
Non trattati 250 46,37 57,50 +11,13
Quartieri Numero Atti vandalici denunciati
per 100.000 abitanti
Anno 1996 Anno 2000 Differenza
Trattati 50 54,96 62,90 + 7,94
Non trattati 250 39,96 46,37 + 6,41
94
Modello di Rubin
Yi variabile-risultato (continua)
Ti variabile trattamento (dicotomica)
Yi reddito
Ti
0 non laureato
1 laureato
95
Yi1 se l’i-esimo individuo è stato sottoposto a trattamento
(reddito potenziale da laureato)
Yi0 se l’i-esimo individuo non è stato sottoposto a trattamento
(reddito potenziale da non laureato)
Yi
Yi=Ti*Yi1+(1-Ti)*Yi
0 [Yi=Yi0+Ti*(Yi
1-Yi0)]
δi = Yi1 - Yi
0
Modello di Rubin
Effetto del trattamento = differenza tra i risultati potenziali
96
Modello di Rubin
• | condizionamento ad un sottoinsieme
della popolazione («tra»)
• E( ) valore atteso («expected» – «media di»)
• YT risultato potenziale («da»)
97
Modello di Rubin
Es.
E(Y1) media della variabile risultato da
laureato (da trattato)
E(Y1| T=1) media della variabile risultato
da laureato tra i laureati (da trattato tra i
trattati)
E(Y1| T=0) media della variabile risultato
da laureato tra i non laureati (da trattato tra
i non trattati)
98
Modello di Rubin
Es.
E(Y0) media della variabile risultato da
non laureato (da non trattato)
E(Y0| T=1) media della variabile risultato
da non laureato tra i laureati (da non
trattato tra i trattati)
E(Y0| T=0) media della variabile risultato
da non laureato tra i non laureati (da non
trattato tra i non trattati)
99
Modello di Rubin
Qual è l’effetto atteso della laurea sul reddito per un individuo tratto a caso dalla popolazione ?
100
Effetto medio nella popolazione (Average Treatment Effect)
Modello di Rubin
E(δi ) = E(Yi1 - Yi
0 ) = E(Yi1 ) – E(Yi
0 )1.
101
E(δi | T=0 ) = E(Yi1 - Yi
0 |T=0) = E(Yi1 |T=0) – E(Yi
0 |T=0)
Modello di Rubin
2.
Effetto medio fra i non trattati
102
Effetto medio fra i trattati (Average Treatment Effect on the Treated)
E(δi | T=1 ) = E(Yi1 - Yi
0 |T=1) = E(Yi1 |T=1) – E(Yi
0 |T=1)
Modello di Rubin
3.
Valutazione dell’efficacia di una politica già attuata
103
Distorsione da selezione
E(Yi1 |T=1) – E(Yi
0 |T=0) =
Differenza TRATTATI/NON TRATTATI
E(Yi1 |T=1) – E(Yi
0 |T=1) + E(Yi0 |T=1) – E(Yi
0 |T=0)
Effetto medio sui TRATTATI (ATT) Distorsione da SELEZIONE
Media del risultato potenziale
da trattato osservato fra i
trattati
Media del risultato
potenziale da non trattato
osservato fra i non trattati
Media del risultato potenziale da
non trattato fra i trattati,
il controfattuale
104
Si presuppone che
a. la politica non sia di tipo UNIVERSALE ;
b. i dati sulla variabile-risultato siano stati raccolti ancheper i non trattati ;
c. i dati relativi ai non trattati siano sufficienti aricostruire la situazione CONTROFATTUALE .
Strategia di identificazione degli effetti
Confronto TRATTATI/NON TRATTATI
E(Yi0 |T=1) = E(Yi
0 |T=0)
E(Yi1 |T=1) – E(Yi
0 |T=0)
Differenza TRATTATI/NON TRATTATI = Effetto medio del trattamento fra i trattati
105
Distorsione da dinamica spontanea
[E(Y1t+1|T=1) - E(Y0
t-1|T=1) ] =
[ E(Y1t+1|T=1) - E(Y0
t+1|T=1) ] [E(Y0t+1|T=1) - E(Y0
t-1|T=1)] +
Differenza osservata PRE-POST
Effetto medio sui TRATTATIDistorsione da DINAMICA SPONTANEA
106
Si presuppone che
a. la variabile risultato sia ripetibile nel tempo ;
b. i dati sulla variabile-risultato siano stati raccolti ancheprima del trattamento ;
c. i dati pre-trattamento siano sufficienti a ricostruire lasituazione CONTROFATTUALE .
Strategia di identificazione degli effetti Confronto PRE-POST
E(Yt+10 |T=1) = E(Yt-1
0 |T=1)
E(Yt+11 |T=1) – E(Yt-1
0 |T=1)
Differenza PRE-POST = Effetto medio del trattamento fra i trattati
107
Il metodo sperimentale
Confronto Trattati/Non Trattati?Distorsione da SELEZIONE
Gruppo sperimentale
di controllo
RandomizedControlled
Trials
108
Randomized Controlled Trials (RCT)
Elimina la distorsione da selezione
E(Yi0 |T=1) = E(Yi
0 |T=0)
[E(Yi1 |T=1) – E(Yi
0 |T=0) ]
Differenza TRATTATI/NON TRATTATI
= [E(Yi1 |T=1) – E(Yi
0 |T=1) ]
Effetto medio sui TRATTATI (ATT)
109
Un esempio : le borse - lavoro
Domande
presentate
Anno 1999
Numero
di
interviste
effettuate
Tasso di risposta
%
Caratteristiche socio-demografiche al
momento della richiesta
Età
media
% di
donne
% con
diploma
Punteggio al
test
Beneficiari 728 627 86 32,4 22,8 27,9 87,2
Esclusi 1426 1098 77 30,0 20,6 24,2 78,1
per errore 656 535 82 31,7 23,3 27,4 86,3
per ritardo 770 563 73 28,4 18,0 21,1 71,2
Randomizzazione di fattogruppo di controllo
110
Un esempio : le borse - lavoro
111
distorsione da selezione
E(Yi1 |T=1) – E(Yi
0 |T=0) =
Differenza TRATTATI/NON TRATTATI
[9835-7503]
E(Yi1 |T=1) – E(Yi
0 |T=1) + E(Yi0 |T=1) – E(Yi
0 |T=0)
Effetto medio sui TRATTATI (ATT)
[9835-9343]
Distorsione da SELEZIONE
[9343-7503]
Media del risultato potenziale
da trattato osservato fra i
trattati Media del risultato
potenziale da non trattato
osservato fra i non trattati
Media del risultato potenziale da
non trattato fra i trattati,
il controfattuale
Un esempio : le borse - lavoro
112
Un esempio : National Supported Work Demonstration
Politica: reinserimento lavorativo di
soggetti che soffrono di varie forme diemarginazione sociale
Attività : supported work per 1 anno a madri-
single, giovani drop-out scuola superiore, extossicodipendenti, ex carcerati. Realizzata in 14 centriurbani.
Valutazione : conoscitiva
113
Ovvero
qual è l’efficacia del supported worknell’aumentare la partecipazione al lavoro e nelridurre la loro dipendenza dai sussidi pubblici ?
quale tipologia di svantaggio trae maggiorbeneficio da questo intervento ?
quanto costa operare un simile tipo di intervento ?
qual è il rapporto tra costi sostenuti e beneficiottenuti ?
Un esempio : National Supported Work Demonstration
An
alisi d
ella
fattib
ilità e
de
ll’effica
cia
114
Un esempio : National Supported Work Demonstration
Valutazione degli effetti
Qual è l’efficacia del supported work nell’aumentare la
partecipazione al lavoro e nel ridurre la loro dipendenza
dai sussidi pubblici ?
Gruppo sperimentale (3.200 individui)Gruppo di controllo (3.400 individui)
Somministrazione di interviste
• immediatamente prima la randomizzazione ;
• una ogni 9 mesi (4 volte).
115
Un esempio : National Supported Work Demonstration
L’ effetto sul reddito da lavoro delle madri-single
Vari
abil
e-r
isu
ltato
Stato di
emarginazione
dal lavoro
Salario minimo
fissato per legge
per un impegno a tempo pieno
Termine
sperimentazione
Salario minimo
Dopo 27 mesi
250€ con
occupazione
regolare
(+400%)
?
Confronto pre-post
170 €
contro-fattuale
80 €
effetto
(+50%)
116
Un esempio : National Supported Work Demonstration
L’ effetto sul reddito tra i drop-out
117
Il metodo sperimentale :
alcuni aspetti fondamentali
1. Politiche a regime ed interventi dimostrativi;2. Disegni sperimentali complessi ;3. Numerosità campionaria ;4. Randomizzazione di gruppi o di aree geografiche.
118
H0 vera H1 vera
Accetto
H0
1-αERRORE II specie
b
Accetto
H1
ERRORE di I
specie
a
livello di
significatività
1-β
Potenza del
test
H0 il trattamento non ha effetto
Verifica delle Ipotesi
Trovo un effetto che non c’è **
Non trovo un effetto che c’è *
**Dichiaro efficace una politica
che non lo è
*Dichiaro inefficace una politica che lo è
119
a = 0.05b
H0 H1
zona di accettazione di H0
zona di rifiuto di H0
>0021 xx
*
21 )( xx
1b1 a
Distribuzione t di Student
120
Il metodo sperimentale :
numerosità campionaria
Si determina
1. α ;2. la potenza del test ;3. MDE – Minimum Detectable Effect
Dimensione minimadell’effetto che laprocedura Impiegatasia in grado diindividuare
nppzMDE
)1(
2
=
α =0,05
1-b =0,80
> MDE = intercettabile
< MDE = non intercettabile
Varianza della variabile risultato
peso gruppo sperimentale
ba 1tt
121
Il metodo sperimentale :
numerosità campionaria
𝑀𝐷𝐸 = 𝑧 𝜎2
𝑝 1 − 𝑝 𝑛
𝑛 = 𝑧2𝜎2
𝑝 1 − 𝑝 𝑀𝐷𝐸2
122
Il metodo sperimentale :
numerosità campionaria
𝑀𝐷𝐸 = 𝑧 𝜎2
𝑝 1 − 𝑝 𝑛
𝑛 = 𝑧2𝜎2
𝑝 1 − 𝑝 𝑀𝐷𝐸2
123
Il metodo sperimentale :
numerosità campionaria
= 2500 € (627/1162)*[1- (627/1162)]
2.000
124
Un esempio : le borse - lavoro
Effetto non intercettabile
Effetto intercettabile
125
Il metodo sperimentale :
randomizzazione di gruppi o di aree geografiche
Trattamento a livello di gruppo/area geografica (es. politiche rivolte a scuole , quartieri, etc..)
Numerosità dei gruppi/aree geografiche < individui trattati
MDE?
126
Il metodo sperimentale : limiti
L’esperimento con randomizzazione è il più solido disegnoper valutare l’impatto degli interventi. Gli esperimenti conrandomizzazione hanno limiti di applicazione tra cuiquello di essere utilizzabili solo per programmi a coperturaparziale. Inoltre, il loro uso è ulteriormente limitato daproblemi pratici relativi all’ottenimento dellacollaborazione tra i vari attori e ai tempi e ai costinecessari a condurli (Rossi, Freeman e Lipsey , 2003)
127
1. Limitata applicabilità ;
2. Ostacoli di tipo etico e politico;
3. Generalizzazione della stima degli effetti ;
4. Integrità dell’esperimento.
Il metodo sperimentale : limiti
- No - shows
- Drop - outs
- Cross - overs
Non compliance
128
Il metodo non sperimentale : aspetti generali
1.Dati osservazionali (o non
sperimentali )
2. Arbitrarietà
Derivati dall’osservazionedel corso naturale degli eventie contrapposti ai dati sperimentaliche presuppongono la possibilità dimanipolare gli eventi
Ricorso forzato a qualche assunto arbitrario .L’arbitrarietà decresce al crescere dei dati disponibili
129
Beneficiari nel 2000
Intervistati nel 2002
Reddito annuale medio
1999 2001
627 € 5.642 € 9.835
Variazione assoluta € 4.193
Variazione percentuale 74,3%
Il metodo non sperimentale : aspetti generali
Confronto pre-post
L’assunto necessario ad identificare l’effetto
è che non ci sia dinamica spontanea
Altrimenti si raccolgono più dati ?
130
Reddito medio annuale
1997 1999 2001
Beneficiari della borsa-lavoro € 3.567 € 5.642 € 9.835
Dinamica spontanea
Effetto stimato € 4.193 = € 9.835 - € 5.642 Confronto pre-post
Il metodo non sperimentale : aspetti generali
Confronto pre-post
Il reddito non è stabile nel tempo ovveroè soggetto a dinamica spontanea
131
Reddito medio annuale
1997 1999 2001
Beneficiari della borsa-lavoro € 3.567 € 5.642 € 7.717
Andamento lineare
Controfattuale
Effetto stimato € 2.118 = € 9.835 - € 7.717
Confronto pre-post
Il metodo non sperimentale : aspetti generali
Assunto – Il trend osservato tra il 1997 ed il 1999 prosegue inalterato fino al 2001
132
Il metodo non sperimentale : aspetti generali
Confronto trattati-non trattati
Numero di
interviste
effettuate
Reddito medio annuale
1999 2001
Beneficiari della borsa-lavoro 627 € 5.642 € 9.835
Esclusi dalla borsa lavoro 1.098 € 4.567 € 7.503
Differenza beneficiari - esclusi € 1.075 € 2.332
Effetto auto-selezione
Stima distorta dell’effetto borsa
Il metodo non sperimentale : metodo differenza-nelle-differenze
Numero di
interviste
effettuate
Reddito medio
annuale
Differenza
2001-1999
1999 2001
Beneficiari della borsa-lavoro 627 € 5.642 € 9.835 € 4.193
Esclusi dalla borsa lavoro 1.098 € 4.567 € 7.503 € 2.936
Differenza beneficiari -
esclusi
€ 1.075 € 2.332 € 1.257
Effetto depurato dalla differenza di partenza
Qual è il valore controfattuale ?
?
134
Il metodo non sperimentale : metodo differenza-nelle-differenze
Numero di
interviste
effettuate
Reddito medio
annuale
Differenza
2001-1999
1999 2001
Beneficiari della borsa-lavoro 627 € 5.642 € 9.835 € 4.193
Esclusi dalla borsa lavoro 1.098 € 4.567 € 7.503 € 2.936
Differenza beneficiari -
esclusi
€ 1.075 € 2.332 € 1.257
Qual è il valore controfattuale ?
Valore controfattuale € 5.642 + (€ 7.503 – € 4.567 ) = € 8.578
Assunto : le differenze tra i due gruppi sono costanti nel tempo
€ 4.567 + € 1.075 + € 2.936 = € 8.578
135
?E’ accettabile ? Ci potrebbe essere selezione sui trend e selezione sui livelli
Il metodo non sperimentale : metodo differenza-nelle-differenze
1.257
136
Il metodo non sperimentale : metodo differenza-nelle-differenze
Obiettivo [ E(Y1t+1|T=1) - E(Y0
t+1|T=1) ]
Effetto medio sui TRATTATI
Effetto mediodifferenza-nelle-differenze
[ E(Y1t+1|T=1) - E(Y0
t-1|T=1) ] [ E(Y0t+1|T=0) - E(Y0
t-1|T=0) ]-
[ 9.835 – 5.642 ] - [ 7.503 - 4.567 ]
137
Il metodo non sperimentale : metodo differenza-nelle-differenze
Condizione E(Y0t+1|T=1) = E(Y0
t-1|T=1) + [ E(Y0t+1|T=0) - E(Y0
t-1|T=0) ]
Ovvero
[E(Y0t+1|T=1) - E(Y0
t-1|T=1) ] = [ E(Y0t+1|T=0) - E(Y0
t-1|T=0) ]
Dinamica spontanea tra i non trattatiDinamica spontanea tra i trattati
Verifica dell’assunto di parallelismo?
138
Il metodo non sperimentale : metodo differenza-nelle-differenze
Effetto mediodifferenza-nelle-differenze
[ E(Y1t+1|T=1) - E(Y0
t-1|T=1) ] [ E(Y0t+1|T=0) - E(Y0
t-1|T=0) ]-
[ 5.642 – 3.567 ] - [ 4.567 – 3.025 ]
€ 533
Quindi : la stima € 1257 risulta distorta verso l’alto . Di quanto ?
139
Il metodo non sperimentale : metodo differenza-nelle-differenze
Assunto : la differenza fra i trend tra i due gruppi è costante nel tempo
Effetto medio = € 1.257 - € 533 = € 724
7249.111
140
Metodo differenza-nelle-differenze
Un esempio : effetti del salario minimo sull’occupazione
141
Metodo differenza-nelle-differenze
Un esempio : effett0 del credito di imposta di trovare un lavoro a tempo indeterminato