Evalueringskonferansen 2013: Jørn Holm-Hansen

Innovasjon i bistandsevalueringer

Design av evaluering – Hvordan kan forskerens komparative fortrinn utnyttes bedre?

Innledning Evalueringskonferansen Drammen 19.september 2013

Jørn Holm-Hansen, Internasjonal avdeling – NIBR

Hvordan kan forskerens komparative fortrinn utnyttes bedre?

Kanskje vi heller skal si: Hvordan kan begreper og grep fra forskningsverdenen utnyttes bedre?

Fokus: Evaluering av norsk støtte til aktiviteter i andre land Annerledes enn evalueringer hjemme?

Bakgrunn ved evaluering. Bistanden: under langvarig mistanke om liten

effekt under økende mistanke om feil effekt

Nok et kompliserende forhold for evaluator: bistanden emosjonelt

legitimert

Vi jakter på effekter der vi burde se etter bi-effekter

Det å peke på utilsiktede konsekvenser er kanskje den anvendte samfunnsvitenskapens nyttigste bidrag Bistanden er høyproduktiv når det gjelder uønskede, utilsiktede konsekvenser

Det er behov for evalueringer med hovedfokus på utilsiktede konsekvenser (negative, positive og nøytrale) - i det små - i det store

Det er behov for mer kumulativ evaluering Altfor ofte begynner vi på nytt hver gang

Derfor evalueringer med fokus på f eks: Temaer Mekanismer Bistanden og

samfunnet rundt Utlåner/innlåner

CMO

• Outcome • Mechanisms • Context

”Programme resource resonate much more for certain subjects in certain contexts.” Den samme M kan føre til motsatt O. ”What works for whom in what circumstances?”

Ut-låners setting

Inn-låners setting

Hva var omstendighetene som gjorde at modellen, policy’en eller politikkvirkemidlene var ønskelige (hvilket problem var de et svar på?) Hvilke aktører støttet overføringen og var villige til å støtte opp under det etter at det var innført? Hvilke alt eksisterende institusjonelle arrangementer kunne den nye modellen/ policy’en/ virkemidlene støtte seg opp mot, og hvilke institusjonelle arrangementer var de knyttet opp mot?

Fra evaluering i Serbia – feltarbeid og kontekstbevissthet

”What the theory-driven approach initiates is a process of thinking through the tortuos pathways along which a successful programme has to travel”. De beste råd en evaluator kan gi, begynner med en teori, og slutter med en forbedret teori.