Alternativer til rc ts januar 2014

ALTERNATIVER TIL

RCTs: MIKRO-ØKONOMETRISKE METODER Jan Høgelund

INDHOLD

• Introduktion • Skitsering af udvalgte metoder med eksempler, styrker og

svagheder • Regressionsanalyse • Matching • Regression discountinuity • Difference-in-difference

31-01-2014 MIKRO-ØKONOMETRISKE METODER 2

INTRODUKTION

• Alternativ til lodtrækningsforsøg:

• ”Kigge tilbage” vha. eksisterende data • Alternativt: være på forkant og indsamle masser af data • Udgangspunktet: Ikke muligt at styre, hvem der deltager

• Indsats- og kontrolgruppe typisk ikke ”ens” (=

”selektionsskævhed”) • Metoderne anvendes til korrektion


• At I får en intuitiv forståelse af metoderne for dermed at:

• Få bedre indsigt i, hvornår metoder kan anvendes som

alternativ

• Få bedre forudsætninger for at vurdere validiteten af eksisterende undersøgelser

INTRODUKTION – FORMÅL


• Krav til anvendelse:

• Detaljeret indsigt i økonometri og databehandling

• Konsekvens:

• Formålet er ikke, at I skal blive i stand til selv at gennemføre analyserne

INTRODUKTION – STORE KRAV TIL FAGLIGE FORUDSÆTNINGER


SELEKTIONSSKÆVHED – HVAD ER PROBLEMET?

• Systematiske forskelle mellem personer i hhv. indsats- og kontrolgruppe => • personer, der udtages til deltagelse, kan ikke sammenlignes

direkte med de personer, der ikke deltager, hvis

• den målte effekt er påvirket af, at personerne er forskellige

• fordi det dermed ikke er den rene effekt af indsatsen, der måles


SELEKTIONSSKÆVHED – HVORNÅR?

• Eksempler • Kommuner: Ishøj sammenlignet med Gentofte

• Unge på forskellige uddannelser, fx gymnasium vs. HTX

• Sygemeldte på kursus vs. sygemeldte, der ikke deltager i

kurset


• Opstår, når man ikke har et retvisende billede af den kontrafaktiske situation:



Tid

Udfaldsmål Indsatsgruppe, faktisk forløb Indsatsgruppe, kontrafaktisk forløb

Effekt af indsats = det vi vil måle MEN kontrafaktisk forløb ukendt

Indsats

• Hvis vi bruger kontrolgruppe som mål for kontrafaktisk situation, der afviger systematisk fra indsatsgruppe på forhold af betydning for udfald:



Tid

Udfaldsmål Indsatsgruppe, faktisk forløb Indsatsgruppe, kontrafaktisk forløb

Kontrolgruppe

Målte effekt af indsats

Indsats


• I eksempel: En del af målt effekt kan tilskrives selektionsskævhed => Vi måler ikke den rene effekt


Indsatsgruppe, faktisk forløb Indsatsgruppe, kontrafaktisk forløb

Kontrolgruppe Selektionsskævhed

Tid

Udfaldsmål

Faktisk effekt af indsats

Indsats

METODER TIL HÅNDTERING AF ”SYNLIGE”/MÅLBARE FORSKELLE


Indsats Udfald

Målbare forhold

• Sammenhæng med et eller flere forhold ?

• Eksempel: • Er der sammenhæng mellem andel piger i 9. klasse på

en given skole og andel elever, der gennemfører en ungdomsuddannelse?

REGRESSIONSANALYSE - FORMÅL


REGRESSIONSANALYSE - EKSEMPEL


Andel elever, der gennemfører en ungdomsuddannelse

Andel piger i 9. klasse

Skoler





Forventet andel elever, der gennem-fører en ungdoms-uddannelse givet andel piger i 9. kl.

Skoler






Skoler

Hældning udtrykker sammenhængen

REGRESSIONSANALYSE - EFFEKTMÅLING

• Effekt af vejledningsindsats som gives i udvalgte skoler

• Er der (positiv eller negativ) sammenhæng mellem at få vejledning og andel elever, der gennemfører en ungdomsuddannelse?

• Vi må tage hensyn til andelen af piger


REGRESSIONSANALYSE - EFFEKTMÅLING Eksempel: Effekt af forøget vejledningsindsats





Skoler med indsats

Skoler uden indsats

Effekt af indsats

REGRESSIONSANALYSE – SVAGHED = ”OMVENDT KAUSALITET”

• Udfaldsmål kan have kausal effekt på indsats: • Eksempel:

• Hvis især skoler med dårligt karaktergennemsnit gennemfører indsats:

• Skoler med indsats har systematisk lavere karaktergennemsnit end skoler uden indsats

• Kan være årsag til negativ sammenhæng mellem indsats og karaktergennemsnit


Indsats Udfald

• Ikke-målte variabler påvirker både indsats og udfald:

• Eksempel: • Effekt af mindre klassestørrelse på elevpræstationer:

• Forældre med størst engagement kan være dem:

• der arbejder mest for at få små klasser • der mere end andre sikrer bedst mulig lektiehjælp

• Hvis forældreengagement påvirker både elevpræstationer og

klassestørrelse: • Sammenhæng kan skyldes forældreengagement

REGRESSIONSANALYSE – SVAGHED = ”UDELADTE VARIABLER”


Indsats Udfald

Målbare/ikke målbare forhold

REGRESSIONSANALYSE – SVAGHED

Statistisk sammenhæng mellem indsats og udfaldsmål

≠ Kausal effekt af indsats


MATCHING

• Central ide: • Personer i indsatsgruppe matches med en eller flere uden

for indsatsgruppe baseret på målbare forhold = forsøg på efterligning af RCT

• Kontrolgruppe = udvalgte sammenligningspersoner

• Central antagelse: • Når der betinges på en lang række målbare forhold =>

selektionsskævhed forsvinder => kausalt resultat opnås


Kontrol Indsatsgruppen Indsats Indsats Kontrol

Lars Skipper (2010): En mikroøkonometrisk evaluering af

den aktive beskæftigelsesindsats (AKF)

• Fokus: • Fuld population af aktiverede kontanthjælpsmodtagere med

problemer ud over ledighed (match 4 og 5) i vinteren 2005-2006

MATCHING – EKSEMPEL: EFFEKT AF AKTIVERING AF KONTAKTHJÆLPSMODTAGERE MED PROBLEMER UDOVER LEDIGHED


• Registerdata fra Arbejdsmarkedsstyrelsen, Danmarks Statistik og Sundhedsstyrelsen

• Oplysninger om: • Kontaktforløb mellem ledig og sagsbehandler • Sagsbehandlervurdering af fx søgeadfærd, risiko for

langtidsledighed, matchindplacering og årsag hertil • Arbejdsmarkedshistorie, indkomst, overførselsindkomster • Alder, køn, samlivsstatus, nationalitet, uddannelse • Diagnoser, hospitalsindlæggelse, køb af receptpligtig medicin




• Matching anvendes til at konstruere sammenligningsgruppe af kontanthjælpsmodtagere

• Forudsætninger: • Har alle oplysninger, der kan forventes at påvirke

udfaldsmålet • De to grupper er ikke så forskellige, at der ikke findes

overlap


• Indsatsgruppe: • Kontanthjælpsmodtagere, der deltager i aktivering mellem to

tremåneders samtaler omkring årsskiftet 2005/2006

• Kontrolgruppe: • Kontanthjælpsmodtagere, der i samme periode ikke deltager

i aktivering



• Sammenligning af indsats- og kontrolgruppe med matching:

• Der matches på lang række forhold knyttet til den enkelte

kontanthjælpsmodtager af betydning for udfald, bl.a.: • Demografiske forhold, arbejdsmarkedshistorik,

sagsbehandlervurdering, sundhedsoplysninger => ren effekt af aktiveringsindsats beregnes – eneste forskel mellem grupper: indsats/ikke indsats (forhåbentlig)



• Analyse: • Virker aktiveringen?

• Udfaldsmål:

• Tilknytning til arbejdsmarkedet (beskæftigelsesgrad og lønindkomst)

• Sum af offentlige overførsler

• Konklusion: Aktivering har ingen effekt, hverken på kort (3-6 mdr.) eller mellemlangt (op til tre år) sigt



MATCHING – STYRKER OG SVAGHEDER

• Styrke:

• Mere fleksibel metode end regressionsanalyse: • Sammenhæng ikke nødvendigvis lineær • Heterogene effekter kan belyses bedre

• Potentielle svagheder: • Hvis ikke-målbare forhold af betydning => misvisende

resultater • Hvis manglende overlap => behov for stort datamateriale for

at finde éns grupper


METODER TIL HÅNDTERING AF ”USYNLIGE”/IKKE-MÅLBARE FORSKELLE


Indsats Udfald

Målbare forhold

Ikke-målbare forhold

REGRESSION DISCOUNTINUITY - ANVENDELSE

• Når deltagelse/ikke-deltagelse i indsats er bestemt af, om person ligger over/under grænseværdi for variabel, der er afgørende for modtagelse af indsats • Eksempel: Ansatte på virksomhed, der har arbejdsrelateret

stress og ligger på mindst 80 på en skala fra 1-100


REGRESSION DISCOUNTINUITY – IDE OG INTUITION

• Ide: • Sammenligning af personer, der ligger hhv. lige over og lige

under grænseværdi = indsats- og kontrolgruppe

• Intuition: • Personer i de to grupper er ikke forskellige, bortset fra, om

de får en indsats. • Argument: De er i høj grad ens mht. den variabel, der afgør

om de får indsats


REGRESSION DISCOUNTINUITY

• Kausal effekt af indsats = spring i udfald ved grænseværdi • Forudsætning = Ikke andre spring omkring grænseværdi,

der kan påvirke udfaldsmål

• Tænkt eksempel: • Indsatsgruppe består af elever, der har mindre end 50%

rigtige i en given test (test1). • Hvordan påvirker en given indsats disse elevers andel

rigtige i ny test (test2)?


REGRESSION DISCOUNTINUITY – EKSEMPEL


Indsatskriterie: Andel rigtige i test1

Udf

ald:

And

el r

igtig

e i t

est2



Udf

ald:

And

el r

igtig

e i t

est2

Indsatskriterie: Andel rigtige i test1


Eksempel fra forskerverdenen (Leuven m.fl., 2007) • Indsats = ekstra økonomiske midler til hollandske skoler med

mange børn, der • var etniske minoriteter eller • havde forældre med et lavt uddannelsesniveau

• Indsatskriterie = Mindst 70% af eleverne opfyldte krav

• Formål: at forbedre elevers præstationer på udvalgte skoler



Eksempel (Leuven m.fl., 2007) • Fremgangsmåde:

• Sammenligne skoler, der fik ekstra midler med skoler, der ikke fik disse midler

• Sammenligne før og efter introduktion af program (plus/minus 5% og 10% omkring de 70%)

• Resultat: ingen klar effekt – svag tendens til negativ effekt


REGRESSION DISCOUNTINUITY – POTENTIELLE SVAGHEDER

• Vanskeligheder, hvis sammenhæng mellem indsatskriterie og udfaldsmål er ikke-lineær

• Der er ingen værdier for indsatskriterie, hvor der både er personer i indsats- og kontrolgruppe

• Kun effekt omkring grænseværdien


• Paneldatametode: Bygger på data, hvor hver person (eller aldersgruppe eller skole eller… etc.) er observeret mindst to gange over tid

• Datamateriale: • To grupper, hvoraf kun den ene modtager en indsats

mellem de to observationstidspunkter

DIFFERENCE-IN-DIFFERENCES


Tid

Tid

Tid

DIFFERENCE-IN-DIFFERENCES - IDÉ

• De to grupper kan være forskellige på målbare forhold

• De gruppespecifikke gennemsnit for udfaldsmål kan være forskellige i fravær af indsats

• Men: Forskel kan ”differentieres ud” • Trække ændring for kontrolgruppe fra ændring for

indsatsgruppe • Tilbageværende forskel = kausal effekt


DIFFERENCE-IN-DIFFERENCES – EKSEMPEL: Bille, Larsen, Høgelund og Holt (2013)


C = (Indsatsgruppeefter-indsatsgruppefør) – (kontrolgruppeefter-kontrolgruppefør)

Effekten af

indsatsen

DIFFERENCE-IN-DIFFERENCES – EKSEMPEL: Bille, Larsen, Høgelund og Holt (2013)


• Kontrol kommuner som ligner indsatskommuner mht. rammevilkår og geografisk placering

• Brug af kontrolvariabler som køn, alder, uddannelse, medicinforbrug, indlæggelser, kontakter til læge mv.

• Tager højde for konjunkturer: de påvirker begge grupper=> påvirker ikke det endelige resultat => Resultater af DiD kan fortolkes som egentlige årsagssammenhænge

DIFFERENCE-IN-DIFFERENCES – ANTAGELSER

• Gruppespecifikke udviklingstræk for udfaldsmål ville have været være ens (= parallelle) i fravær af indsats, dvs. forskel skal være konstant over tid

• ”Før-måling” må ikke være påvirket af fremtidig indsats (annonceringseffekt)

• Der må ikke – samtidig med indsatsen – være andre ændringer af betydning for adfærd, der påvirker de to grupper forskelligt


DIFFERENCE-IN-DIFFERENCES – STYRKER OG SVAGHED

• Styrker: • anvender kontrolgruppe • tager højde for gruppespecifikke uobserverbare forhold, der

er konstante over tid…

• Potentiel svaghed: • …men tager ikke højde for uobserverbare forhold, der

varierer over tid


OPSAMLING

• ÉN METODE, der kan løse alle udfordringer, FINDES IKKE

• Regressionsanalyse og matching: • Fortolkes med forsigtighed, især overveje ikke-målbare

forholds betydning

• Brug af regression discountinuity: • ”Naturlige” eksperimenter – kræver diskontinuitet i

indsatsvariabel

• Differences-in-differences: • Kan tage højde for individ- eller gruppespecifikke ikke-

målbare forhold, der er konstante over tid



Hvad er forudsætningen for at lave en effektmåling •Veldefineret indsats

•Veldefineret (stor) målgruppe

•Veldefineret (stor) kontrolgruppe

•Målbare effekter

•Data for BÅDE indsatsgruppe og kontrolgruppe

•Effektmål

•Oplysninger til brug for korrektion af forskelle =>

MANGE data skal indsamles for både indsatsgruppe og

kontrolgruppe

SPØRGSMÅL OG

KOMMENTARER?!

MIKRO-ØKONOMETRISKE METODER 46

31-01-2014

Education

Alternativer til rc ts januar 2014