Erfaringer med bruk av difference-in-difference

30-09-16

Michael Spjelkavik Mark

Økt ønske om å gjennomføre kvantitative evalueringer

Verdensbanken, OECD og ESA (EFTA Surveilliance Authority)

Sterkere fokus på «evidence-based policy making»– Forbedring af kvaliteten av programmer– Forbedring af efficiens av programmer – Forbedring af effektivitet av programmer – Men frem for alt et ønske om at kunne sige nået om: BFTB

ESA Guidelines til evaluering av statsstøtteordninger er tydelig:– Evaluerer direkte og indirekte effekter av et virkemiddel– Evaluering må bygge på metoder der analyserer kausale effeker

Difference-in-difference er da en mulighed

30-09-16 3

Difference-in-difference i teorien

4

Forudsetninger i praksis

Programmet må ha klart og tydeligt formål og målgruppe

Der må være klar og tydelig målhierarki som henger nøye sammen med ovenstående

Det krever mye databearbeiding og beviste valg av økonometriske modeller

Spørsmål om selvseleksjon og endogenitet, stiller krav til kontrollgrupper

5

Eksempel på målhieraki – HöG prosjekter hos KK-Stiftelsen

6

Økt konkurrenceevne målt ved økt produktivitet

Økt kvalitet på forskningen ved ”nya lärosäten”.

Hovedformål

Underliggande mål

De stora globala samhällsutmaningarna (globalisering, migration, klimatförändringar etc.)

Globalisering av forskningsfinansiering och resultat

Globalisering av svenskt näringsliv

«Bakgrund»

Økt FoU kapacitet hos de ”nya lärosätena” Økt kapacitet hos foretak

Datagrunnlag

01-02-03Endres i topp-/bunntekst 7

Antal observasjoner: Tidsdimension

Tid

Effe

kter

av

ordn

inge

n/vi

rkem

idde

let

Adferd

Resultat

Effekt

Eksempel fra Skattefunn

01-02-03Endres i topp-/bunntekst 8

Resultater Effekter

Datagrunnlag

01-02-03Endres i topp-/bunntekst 9

Antal observasjoner:

Tidsserier! – Poole data

Tidsdimension

Håndtering av outliers– Samt intra og ekstrapolering

Tid

Effe

kter

av

ordn

inge

n/vi

rkem

idde

let

Adferd

Resultat

Effekt

Parallel (or common) trend assumption

10

Valg av økonometrisk tilgang

Parallel trend assumption – korrigerer for heterogenitet eller utvelg kontrollgruppe

01-02-03Endres i topp-/bunntekst 11

*PSM= Propensity Score Matching

*RDD= Regression Discontinuerity Design

Difference-in-difference

PSM*RDD*

Krav til kontrollgruppe

Antalobservasjoner

Difference in difference udgangspunkt

𝑌𝑌𝑡𝑡 = 𝛽𝛽0 + 𝛽𝛽1𝑇𝑇 + 𝛽𝛽2𝐷𝐷 + 𝛽𝛽3𝑇𝑇 × 𝐷𝐷 + 𝛾𝛾𝑋𝑋𝑡𝑡 + 𝜀𝜀𝑡𝑡

01-02-03Endres i topp-/bunntekst 12

𝑌𝑌𝑡𝑡: Output – performance indikator

𝑇𝑇: Er en tidsdummy (før/etter treatment)𝐷𝐷: Er dummy for treatment𝑇𝑇 × 𝐷𝐷: Er dummy for om observasjon er i treatment gruppe eller ej, før eller etter treatment𝑋𝑋𝑡𝑡: Kontrolvariable

Kontrolgrupper via matching

01-02-03Endres i topp-/bunntekst 13

Trin i matching prosedure

Seleksjon av kontrollgruppe - må matche «treatmentgruppen»– velg de som har lignende forudsetninger for treatment og performance (strategisk, finansielt, teknologisk og human capital)– Typisk igjennom estimering av propensity score (fx logit model)

Vælg «tvillinger» i statistisk forstand til treatmentgruppen– Stil krav om «Common Support» hvor der stilles grenser for hvor forskellige tvillingerne må være målt på propensity score

Vælg flere tvillinger – Fx gjennom 1:5 eller 1:10 matching

Balance tests. – Tester balanse mellom treatment og kontrollgruppe– Nået som sjeldent presenteres

01-02-03Endres i topp-/bunntekst 14

Eksempler på matching: HöG-programmet Deltagande

ForetakKontrollgrupp,før matchning

Kontrollgrupp,etter matchning

Omsetning 470.000 29.200*** 590.000

Produktivitet 980.000 630.000*** 860.000

Antall sysselsatte 157 10*** 160

Kapitalintensitet 480.000 170.000*** 580.000

Eksportintensitet 0,327 0.024*** 0,347

Andel sysselsatte med mellomlang og landutdanning 0,59 0,40*** 0,58

Andel sysselsatte med min bachelor 0,34 0,20*** 0,33

Andel sysselsatte med PhD 0.036 0.011*** 0.038

First difference i produktivitet 5.86 8.49 7,82

First difference i sysselsetting 6.57 6.73 7.02

First difference i omsetning 10.63 7.85 12.81

01-02-03Endres i topp-/bunntekst 15

Effekt av deltagelse i HöG

01-02-03Endres i topp-/bunntekst 16

90

100

110

120

130

140

150

160

t-1 t 0 t+1 t+2 t+3 t+4 t+5 t+6

Akk

umul

eret

tilv

ekst

i pr

osen

t

Tiden fra første samarbeide

Detagare Icke deltagere

** Signifikant på et 5% signifikansniveau

*** Signifikant på et 1% signifikansniveau

t=2,02**

t=2,67***

t=3,31***

Eksempel på matching: Effekt av samarbeide mellom næringsliv og acakademia

Før matching Etter matching

Coefficient t-value Coefficient t-value

Sysselsatte: 50-249 0,47** (6,75) 0,04 (0,33)Sysselsatte: 250-999 0,69** (6,55) -0,06 (-0,34)Sysselsatte: 1,000-2,499 0,89** (4,94) 0,07 (0,24)Sysselsatte: >2,500 1,39** (5,87) 0,08 (0,23)Export intensityt-1 -0,07 (-0,89) -0,10 (-0,71)Ln(kapital t-1) 0,11** (7,48) 0,02 (0,67)Andel sysselsatte med ISCED (4&5A) t-1

0,82** (7,57) 0,10 (0,44)Andel sysselsatte med ISCED (5B) t-1

3,89** (11,72) -0,35 (-0,52)Andel sysselsatte med ISCED (5B)2

t-1

-3,45** (-6,71) 0,79 (0,74)Andel sysselsatte med ISCED (6) t-1

2,59** (17,05) -0,15 (-0,61)Ln(produktivitet t-1) 0,01 (0.12) -0,02 (-0,23)

01-02-03Endres i topp-/bunntekst 17

Produktivitetseffekt av samspil

01-02-03Endres i topp-/bunntekst 18

90

95

100

105

110

115

120

125

130

-3 -2 -1 1 2 3 4 5 6

Inde

x for

the p

rodu

ctivi

ty g

row

th (y

ear o

f pa

rtici

patio

n =

inde

x 100

)

Years before and after participation

Companies participating in R&D collaboration with the University of Copenhagen

Control group

Sign. 10%

Sign. 5%

6,3%

7,8%

11,3%11,6%

15,8%

Omsamling

Ex post evaluering basert på observerbare data

Tenkt lenge og dypt over målhierarki og intervensjonslogikk

Anvend intervensjonslogikken til at definere performans indikatorer, kontrollvariabler og forventet effekttidspunkt

Data, data, data…. Test, test, test

Analysere og forstå samt presentere på forståelig vis (bruk intervensjonslogikk)

01-02-03Endres i topp-/bunntekst 19

www.nifu.no