Prosessevaluering av NAV-reformen: Læring og oppfølging underveis i evalueringsperioden

Odd Helge Askevold Evalueringskonferansen 18.09.2013

Hva jeg skal snakke om

• Kort om NAV-reformen • Kort om evalueringsopplegget • Om prosessevalueringen • Hva har vi lært – noen utfordringer • Hvordan har vi brukt resultatene • Kunne ting vært gjort annerledes – mulige

forbedringer? • Trenger vi prosessevaluering?

Hovedtrekkene ved NAV-reformen

• En forvaltningsreform • Overordnede mål • De organisatoriske hovedgrepene • Gjennomføringsfasen • Nye endringer i gjennomføringsfasen - Intern oppgavespesialisering - Forvaltningens virkemidler = En omfattende og kompleks reform

Evalueringsopplegget ”Et helhetlig evalueringsopplegg som ikke bare undersøker effekter, men som

også fotfølger reformen underveis, og som manter å løfte fram eksempler på vellykkede lokale løsninger” (St.prp.nr 46 (2004-2005))

• Mål og rammedokument • Følge/prosessevaluering og effektevaluering • Evalueringsperiode 7 år (2007-2013) • 7 moduler/11 forskningsmiljøer • NFR-”program” m/styringsgruppe, en faglig prosjektansvarlig • Økonomisk ramme: Ca 50 mill kroner = Et stort og komplekst evalueringsopplegg

Prosessevalueringen

• ”Den er designet for å muliggjøre erfaring og læring underveis - - - skal gi svar på hvordan implementeringsproblemer oppstår og tematiseres - - -generere innsikter - - - gi input til justeringer og videreutvikling av styringssystemet (og reformen) underveis” (Mål og rammedokumentet)

• 5 moduler - M 1: Velferdsmodell og styringssystem - M 2: Det lokale NAV-kontor - M 3: Lokal iverksetting - M 4: Nye yrkesroller i NAV-reformen - M 6a: Brukererfaringer • Koble data fra prosessevalueringen med individuelle forløpshistorier

(reg.data) • Metode og data: case-studier, primært kvalitative data + litt surveydata • Evaleringsfasen: 2007/2012

Hva har vi lært? – noen utfordringer

• Omfattende kunnskapsproduksjon • Prosessevalueringen har i hovedsak levert det den har lovet • Læringsutbytte? Noen utfordringer: • En mengdeutfordring - lesekapasitet • Hva med ”mottaksapparatet” • Formidling og spredning internt • ”Avtakende grensenytte” og problemet med å opprettholde fokus over tid • ”Sorteringsutfordringer” – viktig vs mindre viktig for oss

Oppfølging – hvordan har vi brukt resultatene fra prosessevalueringen?

• Mulig oppsummering: Resultatene fra prosessevalueringen er i begrenset grad blitt brukt direkte opp mot den operative styringen, men den har/vil kunne ha større betydning i den mer strategiske styringen

Hvorfor lite brukt? • ”Tidslag” /foreldelsesproblem – får ”ferskvare” fra andre kilder • Generaliserbarhet og type data som brukes – et problem? • Mange ulike interessenter – forskningens egeninteresse • Problemer med å ”oversette” forskningsresultater til bruk i

styringssammenheng • Hva betyr funnene for måloppnåelsen? • Holdning til å intervenere vs vente og se – ”reformen må sette seg” • Kompliserte oppfølgings- og styringslinjer i NAV

Kunne ting ha vært gjort annerledes – mulige forbedringer?

Departementet: • ”Mottaksapparatet”, systemer og rutiner for formidling/spredning

av resultater • Kompetanse til å bruke forskningen/”oversette” til premisser for

styring Forskningen: • Sortere bedre – framheve de ”kritiske” faktorene

(”risikoelementene”) • Presentasjonsform og mer målrettet formidling – tettere kontakt

underveis? • Data og metode – hva med kvantitative data - mer

forsøk/eksperiment • En mer policy-orientert forskning – anbefale tiltak?

Trenger vi prosessevaluering?

• Gir kunnskap og innsikt • Kobles til effektstudier – viktig for den mer strategiske

styringen • Men kan forbedres – bl.a. også vurdere tidsaspektet nøye

Konklusjon: Evalueringen har bidratt til betydelig økt

oppmerksomhet rundt forskning på arbeids- og velferdsforvaltningen i stort, og vi har i dag vesentlig mer kunnskap og innsikt om denne forvaltningen (og arbeidet med store forvaltningsreformer) enn for bare 6 år siden.