Utvärdering steg för steg, lätt reviderad handledning i ... ?· versionen av Utvärdering steg för…

Embed Size (px)

Text of Utvärdering steg för steg, lätt reviderad handledning i ... ?· versionen av Utvärdering steg...

  • Utvrdering steg fr steg

    Ltt reviderad handledning i utvrdering fr Naturvrdsverket

    NATURVRDSVERKET

  • Bestllningar Ordertel: 08-505 933 40 Orderfax: 08-505 933 99

    E-post: natur@cm.se Postadress: CM-Gruppen, Box 110 93, 161 11 Bromma

    Internet: www.naturvardsverket.se/bokhandeln

    Naturvrdsverket Tel: 08-698 10 00, fax: 08-20 29 25 E-post: natur@naturvardsverket.se

    Postadress: Naturvrdsverket, SE-106 48 Stockholm Internet: www.naturvardsverket.se

    ISBN 91-620-5582-8.pdf ISSN 0282-7298

    Naturvrdsverket 2006

    Elektronisk publikation Illustrationer: Idoluck, Ida Bontin

  • NATURVRDSVERKET Utvrdering steg fr steg

    Ltt reviderad handledning i utvrdering fr Naturvrdsverket

    3

    FrordUppfljning och utvrdering r en av Naturvrdsverkets tre huvudsakliga uppgifter. Det r ocks ett omrde som ska frstrkas srskilt utvrderingen av samhllets och sektorernas miljarbete. Samtliga enheter vid verket frutstts gna sig t ut-vrdering. Den hr handledningen vill vara en hjlp i det arbetet.

    Utvrdering r ett vidstrckt begrepp som kan st fr allt frn kommenterade sammanstllningar av data till djuplodande analyser och bedmningar. Man kan utvrdera det mesta, och utvrderingar kan anvndas till mycket. Systemet med ml- och resultatstyrning frutstter t.ex. att man tid efter annan utvrderar hur man ligger till i frhllande till mlet fr att antingen fortstta p den inslagna vgen eller justera kursen.

    Handledningen har inte ngon ambition att vara en komplett lrobok, utan mera en tnk- och beslutshjlp fr den som ska planera, genomfra eller bestlla en ut-vrdering. Med utgngspunkt frn Naturvrdsverkets utvrderingspolicy tar den ocks upp vad som gller just fr vr utvrderingsverksamhet. Fr den som inte gtt ngon utvrderingskurs kan den ge en introduktion i utvrderingens vrld, samtidigt som den kan tjna som repetition fr dem som deltagit i ngon utbild-ning.

    Eftersom utvrdering av miljtillstndet r gammalt och vant fr mnga i form av arbete med miljvervakning, bedmningsgrunder, aktionsplaner etc. ligger tyngdpunkten i handledningen p utvrdering av miljarbetet.

    Handledningen har skrivits av Inger Vilborg. Fr bilagan om metautvrdering svarar Ulf Hellzenius. Denna handbok r en ltt reviderad upplaga av den frsta versionen av Utvrdering steg fr steg som kom r 2001.

    Stockholm i april 2006 Enheten fr strategier och utvrdering

  • NATURVRDSVERKET Utvrdering steg fr steg

    Ltt reviderad handledning i utvrdering fr Naturvrdsverket

    4

    LsanvisningHandledningen r uppdelad i fyra delar: Den frsta delen ger ett grundrecept (checklista) fr utvrdering steg fr steg. De vriga delarna ger ngot mer utfrlig information om utvrderingsarbete. Den andra delen ger en introduktion om vad utvrdering r. Del tre tar upp frgor om varfr, nr och vad man utvrderar och vem som gr det generellt och med tillmpning p Naturvrdsverket. Dr be-handlas ocks beredning och frankring av utvrderingar inom verket. Del fyra, slutligen, bestr av en genomgng av olika modeller fr utvrdering.

  • NATURVRDSVERKET Utvrdering steg fr steg

    Ltt reviderad handledning i utvrdering fr Naturvrdsverket

    5

    Innehll

    FRORD 3

    LSANVISNING 4

    INNEHLL 5

    UTVRDERING STEG FR STEG GRUNDRECEPT I PUNKTFORM 7Utvrdering att beskriva, frklara, vrdera och fresl utifrn systematiskt insamlade data. 7

    VAD R UTVRDERING EGENTLIGEN? 10

    UTVRDERINGENS VAD, VEM OCH VARFR 12Utvrdering vid Naturvrdsverket 12

    Varfr utvrderar vi och nr? 14

    Den som gapar ver mycket Vad utvrderar vi? Avgrnsningar 17

    Kan vi? Vill vi? Trs vi? Vem utvrderar? 23

    MODELLER HJLPMEDEL, INTE TVNGSTRJA 28En hjlp fr tanken 28

    Ngra utvrderingsmodeller 29

    Olika perspektiv ger olika sanningar 35

    Varning fr begreppsexercis 35

    ppenhet, frankring, engagemang 36

    FRN ID TILL ANVND UTVRDERING 37Grundrecept med variationer 37

    Lt vrlden veta! Hur fr man ut resultaten? 49

    Att utvrdera utvrderingen metautvrdering 50

    BILAGA 1 52Att samla data genom enkter, intervjuer och lsning. 52

    Enkter 53

    Intervjuer 55

    Att bearbeta enkter och intervjuer 57

    Lsning 58

    BILAGA 2 61Utvrdering av utvrderingsprocessen 61

  • NATURVRDSVERKET Utvrdering steg fr steg

    Ltt reviderad handledning i utvrdering fr Naturvrdsverket

    6

    LITTERATUR 68

  • NATURVRDSVERKET Utvrdering steg fr steg

    Ltt reviderad handledning i utvrdering fr Naturvrdsverket

    7

    Utvrdering steg fr steg grundrecept i punktform Utvrdering att beskriva, frklara, vrdera och fresl utifrn systematiskt insamlade data.Vad utvrderar vi? Det r motiverat att utvrdera om vi bedmer att utvrderingen

    blir anvndbar blir rtt i tiden gller ett vsentligt omrde kan ge kad kunskap och frmja miljarbetet gr att genomfra

    Checklista vid utvrdering

    VARFR SKA INSATSEN (VERKSAMHETEN) UTVRDERAS? Vem ska anvnda utvrderingen? Till vad? Dvs. bestm syftet. Syftet ska styra allt fortsatt utvrderingsarbete (upp-lggning, ambitionsniv, rapportering). Fr mer information se sid. 14 och sid. 37.FORMULERA KRNFRGOR UTIFRN SYFTET. Vilka frgor ska utvrderingen besvara? Fr mer information se sid. 14 ff. och sid. 17 ff. VEM SKA GENOMFRA UTVRDERINGEN? Extern utvrde-rare (upphandling av konsult)? Intern, dvs. vi sjlva (egna enheten eller annan enhet)? Tillsammans med berrda? Syfte, tidplan, resur-ser och kompetens styr vilket som r lmpligast. Fr mer informa-tion se sid. 23 ff. och sid. 37. HUR VAR DET TNKT ATT INSATSEN SKULLE FUNGERA? (gr en beskrivningsmodell programteori/karta ver hur det var tnkt att insatsen skulle verka). Frgor att fundera p vid konstruk-tionen av beskrivningsmodellen kan vara: Vilken r insatsen (verk-samheten) som ska utvrderas? Hur r den (insatsen) tnkt att genomfras (av vem, p vilket stt, vilka prestationer och resultat behvs p vgen)? Vilka resultat och effekter r det tnkt att insat-sen ska f? Vad, utver insatsen, kan frklara resultatet? Vilka hin-der och mjligheter finns att genomfra insatsen? Vilka r vra krnfrgor? r det resultatet (utfallet) av insatsen eller vgen dit (processen/omvandlingen) som r intressantast att utvrdera? Tnk ocks p att modellen inte r statisk. Den kan revideras efter hand. Fr mer information se sid. 38, se ven sid. 28 ff.

  • NATURVRDSVERKET Utvrdering steg fr steg

    Ltt reviderad handledning i utvrdering fr Naturvrdsverket

    8

    HUR SKULLE MAN KUNNA SAMLA IN DATA? Vilka data be-hvs fr att besvara det som anges i syftet? Kvantitativa data, kvali-tativa data? Statistik, textanalys, enkter, intervjuer? (Databehovet styrs av krnfrgor, kritiska punkter och frklaringsniv i beskriv-ningsmodellen). Om enkter eller intervjuer ska gras, hur mnga och till vilka? Fr mer information se sid. 43.FRANKRA FAKTA. Om utvrderingen ska bli anvnd r det vik-tigt att redovisning av data (beskrivningsmodell och verklighetsbe-skrivning) uppfattas som korrekta och tillfrlitliga. Snd grna ut faktadelen (dvs. resultatet av arbetet ungefr s hr lngt) till de be-rrda fr frankring, justering och komplettering. Fr mer informa-tion se sid. 44. JMFR VERKLIGHETEN MED KARTAN. ANALYSERA, SK ORSAKSSAMBAND. Stmmer inte verkligheten och kartan fr man fundera p vad det beror p. Kartan kan vara fel, t.ex. nr det gller teorierna bakom insatsen, uppfattningen om genomfran-det och andra antaganden. Viktiga omgivningsfaktorer kan ha frbi-setts. Men bristande verensstmmelse kan ocks bero p att fullt rimliga frvntningar inte har infriats av ngot skl, dvs. att verklig-heten inte har blivit den frvntade. Stmmer andra sidan kartan och verkligheten kan det konstaterade (och frvntade) utfallet bero p insatsen, det kan bero p insatsen och ngot mera, men det kan ocks ha kommit till stnd trots insatsen. Ett halvlyckat utfall kan bero p att insatsen har motverkats av andra faktorer, etc. Att ett nskat resultat har uppntts kan vara ett fullt tillrckligt konstate-rande. Oftast vill man dock veta varfr och hur. Orsakssamband kan skas genom jmfrelser i tid och rum mellan objekt som har p-verkats respektive inte pverkats av insatsen, genom studier av ge-nomfrandeprocess och genom kvalitativa omdmen av kunniga personer. Fr mer information se sid. 45 ff. BEDM RESULTAT. Hur bedmningen ser ut varierar med typ av utvrdering. Den kan t.ex. g ut p att bedma i vilken utstrckning ett eller flera ml har ntts. Bieffekter som frbttrar respektive fr-tar det nskade resultatet kan behva beaktas. Man kan vilja bedma prestationer eller effekter i relation till resursinsats, i frhllande till fastlagda bedmningskriterier eller egna, men redovisade kriterier. Brukarutvrderingar utgr brukarnas bedmningar och kan vara fri-stende eller del i en mer omfattande utvrdering. Processer kan be-dmas efter funktion, efter de medverkandes vrderingar eller i fr-hllande till andra liknande processer. Kriterier kan vara snabbhet, demokrati, produktivitet etc. Fr mer information se sid. 41 ff, sid. 47. Se ven sid. 28 ff. DRA SLUTSATSER, LMNA FRSLAG. I vilken omfattning av-grs bl.a. av bestllning och syfte. I vrigt svrt att generalisera. Fr mer information se sid. 49.

  • NATURVRDSVERKET Utvrdering steg fr steg

    Ltt reviderad handledning i utvrdering fr Naturvrdsverket

    9

    RAPPORTERA SPRID RESULTATET. Tryckt rapport? Fre-dragningar och diskussioner? Seminarier? Populrversioner? Missiv med srskilda uppmaningar till olika intressenter. Fantasi, syfte och resurser avgr. Fr mer information se sid. 49.GLM INTE INTERN FRANKRING! P planeringsstadiet, i halvtid (bedmningar och andra slutsatser) och infr slutrapporte-ring.

    Vid behov, ta hjlp av utvrderarna vid Naturvrdsverket eller konsulter.

    En utmrkt vgledning fr att bestlla utvrderingar har getts ut av Ekonomistyr-ningsverket: Att bestlla utvrderingar en vgledning (ISBN 91-7249-201-5).

  • NATU