Download pdf - Utvärdering steg för steg, lätt reviderad handledning i ... · versionen av Utvärdering steg för steg som kom år 2001. Stockholm i april 2006 Enheten för strategier och utvärdering

Utvärdering steg för steg

Lätt reviderad handledning i utvärdering för Naturvårdsverket

NATURVÅRDSVERKET

Beställningar Ordertel: 08-505 933 40 Orderfax: 08-505 933 99

E-post: [email protected] Postadress: CM-Gruppen, Box 110 93, 161 11 Bromma

Internet: www.naturvardsverket.se/bokhandeln

Naturvårdsverket Tel: 08-698 10 00, fax: 08-20 29 25 E-post: [email protected]

Postadress: Naturvårdsverket, SE-106 48 Stockholm Internet: www.naturvardsverket.se

ISBN 91-620-5582-8.pdf ISSN 0282-7298

© Naturvårdsverket 2006

Elektronisk publikation Illustrationer: Idéoluck, Ida Bontin

NATURVÅRDSVERKET Utvärdering steg för steg


3

FörordUppföljning och utvärdering är en av Naturvårdsverkets tre huvudsakliga uppgifter. Det är också ett område som ska förstärkas – särskilt utvärderingen av samhällets och sektorernas miljöarbete. Samtliga enheter vid verket förutsätts ägna sig åt ut-värdering. Den här handledningen vill vara en hjälp i det arbetet.

Utvärdering är ett vidsträckt begrepp som kan stå för allt från kommenterade sammanställningar av data till djuplodande analyser och bedömningar. Man kan utvärdera det mesta, och utvärderingar kan användas till mycket. Systemet med mål- och resultatstyrning förutsätter t.ex. att man tid efter annan utvärderar hur man ligger till i förhållande till målet för att antingen fortsätta på den inslagna vägen eller justera kursen.

Handledningen har inte någon ambition att vara en komplett lärobok, utan mera en tänk- och beslutshjälp för den som ska planera, genomföra eller beställa en ut-värdering. Med utgångspunkt från Naturvårdsverkets utvärderingspolicy tar den också upp vad som gäller just för vår utvärderingsverksamhet. För den som inte gått någon utvärderingskurs kan den ge en introduktion i utvärderingens värld, samtidigt som den kan tjäna som repetition för dem som deltagit i någon utbild-ning.

Eftersom utvärdering av miljötillståndet är ”gammalt och vant” för många i form av arbete med miljöövervakning, bedömningsgrunder, aktionsplaner etc. ligger tyngdpunkten i handledningen på utvärdering av miljöarbetet.

Handledningen har skrivits av Inger Vilborg. För bilagan om metautvärdering svarar Ulf Hellzenius. Denna handbok är en lätt reviderad upplaga av den första versionen av Utvärdering steg för steg som kom år 2001.

Stockholm i april 2006 Enheten för strategier och utvärdering



4

LäsanvisningHandledningen är uppdelad i fyra delar: Den första delen ger ett ”grundrecept” (checklista) för utvärdering steg för steg. De övriga delarna ger något mer utförlig information om utvärderingsarbete. Den andra delen ger en introduktion om vad utvärdering är. Del tre tar upp frågor om varför, när och vad man utvärderar och vem som gör det – generellt och med tillämpning på Naturvårdsverket. Där be-handlas också beredning och förankring av utvärderingar inom verket. Del fyra, slutligen, består av en genomgång av olika modeller för utvärdering.



5

Innehåll

FÖRORD 3

LÄSANVISNING 4

INNEHÅLL 5

UTVÄRDERING STEG FÖR STEG – GRUNDRECEPT I PUNKTFORM 7Utvärdering – att beskriva, förklara, värdera och föreslå utifrån systematiskt insamlade data. 7

VAD ÄR UTVÄRDERING EGENTLIGEN? 10

UTVÄRDERINGENS VAD, VEM OCH VARFÖR 12Utvärdering vid Naturvårdsverket 12

Varför utvärderar vi – och när? 14

”Den som gapar över mycket…” Vad utvärderar vi? Avgränsningar 17

Kan vi? Vill vi? Törs vi? Vem utvärderar? 23

MODELLER – HJÄLPMEDEL, INTE TVÅNGSTRÖJA 28En hjälp för tanken 28

Några utvärderingsmodeller 29

Olika perspektiv ger olika ”sanningar” 35

Varning för begreppsexercis 35

Öppenhet, förankring, engagemang 36

FRÅN IDÉ TILL ANVÄND UTVÄRDERING 37”Grundrecept” med variationer 37

Låt världen veta! Hur för man ut resultaten? 49

Att utvärdera utvärderingen – metautvärdering 50

BILAGA 1 52Att samla data genom enkäter, intervjuer och läsning. 52

Enkäter 53

Intervjuer 55

Att bearbeta enkäter och intervjuer 57

Läsning 58

BILAGA 2 61Utvärdering av utvärderingsprocessen 61



6

LITTERATUR 68



7

Utvärdering steg för steg –grundrecept i punktform Utvärdering – att beskriva, förklara, värdera och föreslå utifrån systematiskt insamlade data.Vad utvärderar vi? Det är motiverat att utvärdera om vi bedömer att utvärderingen

blir användbar blir rätt i tiden gäller ett väsentligt område kan ge ökad kunskap och främja miljöarbetet går att genomföra

Checklista vid utvärdering

VARFÖR SKA INSATSEN (VERKSAMHETEN) UTVÄRDERAS? Vem ska använda utvärderingen? Till vad? Dvs. bestäm syftet. Syftet ska styra allt fortsatt utvärderingsarbete (upp-läggning, ambitionsnivå, rapportering). För mer information se sid. 14 och sid. 37.FORMULERA KÄRNFRÅGOR UTIFRÅN SYFTET. Vilka frågor ska utvärderingen besvara? För mer information se sid. 14 ff. och sid. 17 ff. VEM SKA GENOMFÖRA UTVÄRDERINGEN? Extern utvärde-rare (upphandling av konsult)? Intern, dvs. vi själva (egna enheten eller annan enhet)? Tillsammans med berörda? Syfte, tidplan, resur-ser och kompetens styr vilket som är lämpligast. För mer informa-tion se sid. 23 ff. och sid. 37. HUR VAR DET TÄNKT ATT INSATSEN SKULLE FUNGERA? (gör en beskrivningsmodell – programteori/karta – över hur det var tänkt att insatsen skulle verka). Frågor att fundera på vid konstruk-tionen av beskrivningsmodellen kan vara: Vilken är insatsen (verk-samheten) som ska utvärderas? Hur är den (insatsen) tänkt att genomföras (av vem, på vilket sätt, vilka prestationer och resultat behövs på vägen)? Vilka resultat och effekter är det tänkt att insat-sen ska få? Vad, utöver insatsen, kan förklara resultatet? Vilka hin-der och möjligheter finns att genomföra insatsen? Vilka är våra kärnfrågor? Är det resultatet (utfallet) av insatsen eller vägen dit (processen/omvandlingen) som är intressantast att utvärdera? Tänk också på att modellen inte är statisk. Den kan revideras efter hand. För mer information se sid. 38, se även sid. 28 ff.



8

HUR SKULLE MAN KUNNA SAMLA IN DATA? Vilka data be-hövs för att besvara det som anges i syftet? Kvantitativa data, kvali-tativa data? Statistik, textanalys, enkäter, intervjuer? (Databehovet styrs av kärnfrågor, kritiska punkter och förklaringsnivå i beskriv-ningsmodellen). Om enkäter eller intervjuer ska göras, hur många och till vilka? För mer information se sid. 43.FÖRANKRA FAKTA. Om utvärderingen ska bli använd är det vik-tigt att redovisning av data (beskrivningsmodell och verklighetsbe-skrivning) uppfattas som korrekta och tillförlitliga. Sänd gärna ut faktadelen (dvs. resultatet av arbetet ungefär så här långt) till de be-rörda för förankring, justering och komplettering. För mer informa-tion se sid. 44. JÄMFÖR VERKLIGHETEN MED KARTAN. ANALYSERA, SÖK ORSAKSSAMBAND. Stämmer inte verkligheten och kartan får man fundera på vad det beror på. Kartan kan vara fel, t.ex. när det gäller teorierna bakom insatsen, uppfattningen om genomföran-det och andra antaganden. Viktiga omgivningsfaktorer kan ha förbi-setts. Men bristande överensstämmelse kan också bero på att fullt rimliga förväntningar inte har infriats av något skäl, dvs. att verklig-heten inte har blivit den förväntade. Stämmer å andra sidan kartan och verkligheten kan det konstaterade (och förväntade) utfallet bero på insatsen, det kan bero på insatsen och något mera, men det kan också ha kommit till stånd trots insatsen. Ett ”halvlyckat” utfall kan bero på att insatsen har motverkats av andra faktorer, etc. Att ett önskat resultat har uppnåtts kan vara ett fullt tillräckligt konstate-rande. Oftast vill man dock veta varför och hur. Orsakssamband kan sökas genom jämförelser i tid och rum mellan ”objekt” som har på-verkats respektive inte påverkats av insatsen, genom studier av ge-nomförandeprocess och genom kvalitativa omdömen av kunniga personer. För mer information se sid. 45 ff. BEDÖM RESULTAT. Hur bedömningen ser ut varierar med typ av utvärdering. Den kan t.ex. gå ut på att bedöma i vilken utsträckning ett eller flera mål har nåtts. Bieffekter som förbättrar respektive för-tar det önskade resultatet kan behöva beaktas. Man kan vilja bedöma prestationer eller effekter i relation till resursinsats, i förhållande till fastlagda bedömningskriterier eller egna, men redovisade kriterier. Brukarutvärderingar utgör brukarnas bedömningar och kan vara fri-stående eller del i en mer omfattande utvärdering. Processer kan be-dömas efter funktion, efter de medverkandes värderingar eller i för-hållande till andra liknande processer. Kriterier kan vara snabbhet, demokrati, produktivitet etc. För mer information se sid. 41 ff, sid. 47. Se även sid. 28 ff. DRA SLUTSATSER, LÄMNA FÖRSLAG. I vilken omfattning av-görs bl.a. av beställning och syfte. I övrigt svårt att generalisera. För mer information se sid. 49.



9

RAPPORTERA – SPRID RESULTATET. Tryckt rapport? Före-dragningar och diskussioner? Seminarier? Populärversioner? Missiv med särskilda uppmaningar till olika intressenter. Fantasi, syfte och resurser avgör. För mer information se sid. 49.GLÖM INTE INTERN FÖRANKRING! På planeringsstadiet, i ”halvtid” (bedömningar och andra slutsatser) och inför slutrapporte-ring.

Vid behov, ta hjälp av utvärderarna vid Naturvårdsverket eller konsulter.

En utmärkt vägledning för att beställa utvärderingar har getts ut av Ekonomistyr-ningsverket: Att beställa utvärderingar – en vägledning (ISBN 91-7249-201-5).



10

Vad är utvärdering egentligen?

Vanligt är att förklara skillnaden mellan uppföljning och utvärdering med att upp-följning beskriver hur något är eller har utvecklats medan utvärdering går ut på att förklara varför det är eller har blivit så. Som ordet anger går utvärdering också ut på att värdera och bedöma det som beskrivs. Man kan egentligen inte utvärdera utan att först följa upp. Däremot behöver uppföljning inte alltid leda till utvärde-ring. Men genom uppföljning kan man få signaler om att något behöver studeras närmare – utvärderas.

Utvärderingslitteraturen har olika sätt att beskriva utvärdering. Enligt Vedung1 är det en noggrann efterhandsbedömning av offentlig politik. Med ”efterhandsbe-dömning” menar Vedung dock inte att man måste vänta tills allt är ”färdigt” och avslutat – endast att den insats man ska studera bör ha fått verka någon tid.

En del utvärderare arbetar med andra utvärderingsobjekt än offentlig politik. De utvärderar organisationer av alla slag, bl.a. företag, t.ex. Kylén1. Hur en grupp människor – en organisation – samspelar, vad som händer vid förändringar, hur en utbildningsinsats fungerar osv. Utvärderare från USA bl.a. Patton1, talar mycket om att fonder och välgörenhetsorganisationer beställer utvärderingar av ”program” som deras pengar används till. De flesta hänvisar dock till insatser inom ”skolan, vården och omsorgen” när de berättar om utvärdering och utvärderingsmetoder. RRV1 tar bl.a. upp insatser inom ramen för biståndspolitiken i sin handledning.

En konsult beskriver utvärdering som ett perspektiv som anläggs på ett objekt för att i någon mening uppskatta dess nytta, förklara utfall och söka utvecklingsvägar. Karlsson1 menar att det utmärkande för utvärdering är att man värderar något på ett systematiskt och genomtänkt sätt. Kylén karakteriserar utvärdering med fyra grundläggande verb: beskriva, förklara, värdera och föreslå.

Kvintessensen av deras och en rad andra utvärderares definitioner skulle kunna vara just att utvärdering innebär att beskriva, förklara, värdera och föreslå utifrån

1 Se litteraturförteckning, sid. 68.

Beskriva, förklara, värdera, föreslå = utvärdering

Utvärdering kan ge bättre kunskaper och vara lärande på alla plan när det gäller miljöpolitikens genomförande – organisation, policy, hand-lingsplaner och projektarbete. Även arbetsmetoder och tekniska system kan utvärderas.



11

systematiskt insamlade data (både kvantitativa och kvalitativa). Var tyngdpunkten ligger varierar mellan olika typer av utvärderingar. Att systematik, data och de antaganden värderingarna bygger på redovisas öppet hör också till en god utvärde-ring.



12

Utvärderingens vad, vem ochvarförUtvärdering vid Naturvårdsverket Verkets utvärderingsstrategi Naturvårdsverket har 2004-11-17 antagit en ny utvärderingsstrategi (verksprotokoll Nr 129/04, 2004-11-17). Strategin finns under rubriken Styrande dokument, Pla-ner/Strategier på intranätet. Läs den!

Huvudpunkterna i strategin handlar om varför och vad vi ska utvärdera, hur vi ska uppfatta vår roll som utvärderare och om arbetsfördelningen inom verket. Utvärde-ring är en angelägen arbetsuppgift för samtliga avdelningar och enheter. Utvärde-ringsenheten har som sina huvuduppgifter att göra egna utvärderingar och att ge stöd i metodfrågor till övriga enheters utvärderingsverksamhet.

Olika slag av utvärderingar – alla är Naturvårdsverkets De utvärderingar som görs och kommer att göras i Naturvårdsverkets regi är av många olika slag: Från insamling och analys av data om individ- och artantal, för-oreningshalter etc. över granskning av hur ett styrmedel fungerar till breda genom-gångar och bedömningar av sektorernas arbete för att åstadkomma hållbar sam-hällsutveckling eller nå ett visst miljömål. Som exempel kan man nämna utvärde-ring av bottenfaunan i rinnande vatten för att bedöma effekter av kalkning, utvärde-ring av en viss provtagningsteknik och utvärderingen av arbetet mot miljökvali-tetsmålet Myllrande våtmarker.

Det är Naturvårdsverket som står för alla utvärderingar som genomförs vid verket – av verkets personal eller helt eller delvis av konsulter. Oavsett vad man skriver i förordet om enskilda tjänstemäns insatser är det nämligen som verkets produkter de uppfattas av omgivningen.

Om man anlitar konsulter för hela eller delar av en utvärdering ska deras arbete i normalfallet ses som underlag för verkets ställningstagande. På något sätt, antingen genom bearbetning av underlaget eller



13

genom särskilda kommentarer, en inledning, ett slutsatskapitel el. dyl. måste verket förhålla sig till konsultens arbete och göra det till verkets. Detta förfaringssätt mås-te framgå tydligt av upphandlingsunderlaget så att det inte uppstår problem vid publiceringen. Att man ändå redovisar vilken konsult som medverkat med vad är givet. Endast i undantagsfall, om det finns särskilda skäl, publiceras en utvärdering okommenterad och med förbehållet att utvärderaren/konsulten själv helt svarar för innehåll och slutsatser.

Detta innebär att våra utvärderingar ska förankras inom verket på samma sätt som andra aktstycken som verket förutsätts stå bakom. Eftersom särskilt utvärderingar av miljöarbetet kan innebära en hel del bedömningar av och uttalanden om även andra myndigheters eller organisationers göranden och låtanden är förankringen särskilt viktig.

Förankring i flera stegOavsett varifrån initiativet till en utvärdering kommer är det verksledningen – Gd – som beslutar om vilka större utvärderingar som ska genomföras vid verket, liksom av vem och hur. ”Större” avser då inte i första hand rapportens omfång, utan snara-re verksövergripande, politiknära eller på annat sätt särskilt grannlaga bedömning-ar. Det kan vara klokt att räkna bedömningar där andra myndigheters och organisa-tioners arbete i relation till miljömålen beskrivs och bedöms som ”större” – i varje fall så länge sådana utvärderingar är en relativt ny företeelse. Att bedöma behovet och omfattningen av förankring är framför allt ett ansvar för Ac/Ec.

Tanken med våra utvärderingar är inte att Naturvårdsverket ska granska enskilda myndigheters inre arbete. Däremot kan det mycket väl vara motiverat att lyfta fram både vad som från miljösynpunkt fungerar bra och vad som fungerar sämre i olika aktörers utåtriktade agerande. Man kan kommentera om regler eller beslut i miljö- eller andra frågor motverkar eller främjar miljöintresset, om samarbetet myndighe-ter emellan fungerar dåligt, till nackdel för t.ex. naturvårdsfrågor eller liknande. Gränsen mellan vad vi kan och bör studera och inte ska ägna oss åt kan ibland vara svår att dra. Än svårare är det att ange generella regler. Därför är det viktigt att diskutera sådana frågor med verksledningen redan på planeringsstadiet.

Tillfällen för diskussion och beslut om fortsatt arbete kan sedan exempelvis vara när man har en plan för en förstudie, när resultatet av förstudien föreligger, när man har en plan för huvudstudien. Avrapporteringen under utvärderingens gång blir mycket beroende på de fynd man gör. Ett givet tillfälle är när det börjar bli dags att formulera värderingar, bedömningar, andra slutsatser och eventuella rekommenda-tioner. Det kan också hända att man under arbetets gång finner att man måste göra väsentliga avsteg från planen – det kan då också vara läge för rapportering. Avrap-portering inför slutskrivning är självklar.

Hur många rapporteringstillfällen man utnyttjar beror förstås på hur stort, komplext eller ”känsligt” ämnet för utvärderingen är. Här har Ac/Ec som sagt ett ansvar.



14

Ensam kan vara stark, men ibland ligger styrkan i samarbete Ansvaret för arbetet mot hållbar utveckling och miljökvalitetsmålen delar vi med många andra. Vi har samarbete på gång med flera myndigheter, både bilateralt och multilateralt, t.ex. inom Miljömålsmyndighetsgruppen. Kravet på samarbete kring miljömålen blir än tydligare genom Miljömålsrådet. Naturvårdsverket kan på egen hand utvärdera både sektorsövergripande och enskilda sektorers miljöarbete, lik-som lokalt och regionalt miljöarbete. Vi kan också genomföra utvärderingar till-sammans med en eller flera berörda sektorer eller myndigheter – intressenter. Vår utvärderingsstrategi ger stöd för båda arbetssätten. Egna utvärderingar på områden där vi har samarbetsavtal eller samarbetar på annat sätt kan bli ”vassare” och göra det lättare att sätta fingret på ”ömma punkter”, men de kan också bli mer kontro-versiella. Vilket arbetssätt vi väljer beror bl.a. på syftet med utvärderingen. Valet blir i allmänhet en fråga för verksledningen.

En förutsättning för våra utvärderingar med eller utan medverkan av andra aktörer är att de görs med full öppenhet om att de pågår. Öppenhet är f.ö. nödvändig för att vi ska kunna få tillgång till data och annat material som kan behövas från de berör-da aktörerna. Med öppenhet ökar också förutsättningarna för acceptans och an-vändning av resultaten. Att på olika sätt involvera intressenterna, de som på något sätt berörs, eller de viktigaste av dem, rekommenderas av många utvärderare som ett sätt att just få utvärderingarna mer använda. (Se bl.a. intressentmodellen, sid. 32)

Varför utvärderar vi – och när? Varför?Utvärderar gör man av många skäl. Det som ligger närmast till hands är förstås att man vill se ”hur det gick”, om den åtgärd man vidtagit har fått det tänkta resultatet eller om man behöver justera något. Man kan också behöva utvärdera något – en organisation, ett styrmedel, ett arbetssätt – därför att det finns tecken på trassel någonstans. Då får man ta reda på var skon klämmer och helst också vad man kan göra åt det. Det är inte heller omotiverat att utvärdera något som fungerar bra. Lär-domarna därifrån kan komma väl till pass i andra liknande sammanhang.

Utvärderingslitteraturen tar upp en rad olika syften med utvärderingar. Kontroll i vid bemärkelse är ett av de vanligaste. Kontrollen kan gälla att utfallet blivit det önskade, men också att alla som skulle nås av en åtgärd har gjort det, att insatserna genomförts på rätt sätt, att kostnadsramarna har hållit, att lagar och regler har följts. Utvärderingar för att kontrollera, se hur det gick, kallas summativa utvärderingar. Utvärderingen görs mot en uppsättning kriterier. I summativa utvärderingar ställer man frågor som ”fungerade insatsen/programmet?”,

Obs! att beteckningar-na summativ, formativ, upplysande och stra-tegisk beskriver syftet med en utvärdering. Även om syftet har betydelse för hur man lägger upp utvär-deringen är dessa beteckningar inte rubriker som olika utvärderingsmodeller kan sorteras in under.



15

”uppnåddes målen?”, ”ska programmet fortsätta eller avslutas?”.

Främjande utvärderingar syftar till förbättringar i någon verksamhet eller av någon insats. Medan utvärderingar i kontrollsyfte i första hand ska förse någon överord-nad instans med information, vänder sig den främjande utvärderingen till dem som arbetar med det utvärderade programmet/i den utvärderade organisationen. De ska få hjälp att ändra eller förbättra det som inte fungerar så bra, men också att ta vara på och förstärka det positiva. Utvärderingar ”under hand” för att förbättra kallas formativa.

Formativa eller främjande utvärderingar är i allmänhet mera öppna. Man utgår inte nödvändigtvis från kriterier som man bedömer resultat mot. Snarare söker man efter starka och svaga sidor. Formativa utvärderingar kan komma till användning för att åstadkomma den ”ständiga förbättring” som t.ex. förutsätts i miljölednings-system. Typiska ”formativa frågor” är t.ex. ”Vilka typer av deltagare gör goda framsteg och vilka gör det inte?”, ”Vilka genomförandeproblem har uppstått och hur har de hanterats?”, ”Vad har hänt som inte var väntat?”, ”Hur samarbetar olika grupper/personer/funktioner i projektet?”

Utvärderingar för att rent allmänt få bättre kunskap – upplysande syfte – medverkar till ökad förståelse av processer, styrstrategier, organisationers sätt att fungera. Kunskapsutveckling kan alltså vara ett skäl till att också utvärdera sådant som ver-kar fungera väl, hålla budget och ge avsedda resultat.



16

De anförda syftena är de som brukar uppges, men det kan också finnas andra, stra-tegiska, skäl som beställaren inte lika gärna nämner. Utvärderingar kan, liksom vanliga utredningar, användas för att fördröja något som måste göras. De kan också användas som förevändning för något i övrigt omotiverat som man vill göra. En misslyckad insats kan döljas genom en utvärdering som bara tar upp det som trots allt fungerar – och tvärtom: genom en utvärdering som lyfter fram missarna i en annars lyckad insats, kan åtgärden eller programmet misskrediteras och kanske förkastas. Slutligen: eftersom utvärderingar är något man ”ska” göra kan de bli en närmast rituell åtgärd utan att sedan leda någonstans.

Skarpa gränser mellan olika syften hör väl närmast till teorin. Inriktningarna uteslu-ter inte varandra, men man bör precisera var tyngdpunkten ska ligga eftersom det styr uppläggning och kärnfrågor. Naturvårdsverkets utvärderingsstrategi lutar mest åt kontrollerande och främjande användning. Typexemplet är utvärderingar av arbetet mot miljömålen, som syftar till att ta reda på om det går åt rätt håll och ge förslag till åtgärder och förändringar om det visar sig behövas.

När?”Utvärdering är en noggrann efterhandsbedömning” enligt Evert Vedung och många med honom. De menar dock inte att man alltid måste vänta tills fullständiga resultat av en insats föreligger innan man kan sätta igång att utvärdera. Särskilt för att kontrollera eller främja finns det skäl att vid ett eller flera tillfällen titta på hur det går, t.ex. arbetet mot ett miljökvalitetsmål eller ett av delmålen. Man kan behö-va se om ett styrmedel eller en organisation ser ut att fungera som avsett. Formati-va utvärderingar görs alltså inte i efterhand utan i en pågående verksamhet eller process.

En formativ utvärdering av strandskyddet kan göras för att svara på frågor av följande slag: Hur arbetar kommunerna med strandskyddet, har de till-räcklig kompetens och hur kan man få besluten bättre från naturvårdssyn-punkt? En avgörande fråga i en summativ utvärdering skulle kunna se ut så här: Kan kommunerna ha kvar beslutanderätten i strandskyddsfrågor? En utvärdering i upplysande syfte skulle kunna gå ut på att ta reda på hur kommunala beslut i strandskyddsfrågor skiljer sig från länsstyrelsebeslut, t.ex. som en del i en större undersökning om skillnaderna mellan de båda nivåerna när det gäller beslut i naturvårdsfrågor.

Hur som helst finns det all anledning att noga tänka igenom både egna och en eventuell beställares motiv för en planerad utvärdering. Syftet med utvärderingen har betydelse för både ambitionsnivå, uppläggning och genomförande.



17

Man behöver inte vänta tills något är ”färdigt”. Det är snarare valet av tidpunkt som är viktigt. En insats eller åtgärd av något slag behöver få tid att ”sätta sig” innan man börjar titta på effekterna.

Vill man utvärdera själva införandeprocessen går man in tidigare för att se vad som händer. Signaler om att något går fel är ett tecken på ”rätt tid”. Förändringar i om-världen kan vara skäl att studera nuläget för att jämföra med och utvärdera det som sedan inträffar. Tidpunkter för händelser i omvärlden då en utvärdering kan komma till användning är en viktig faktor. Kända beslutstillfällen inom EU eller riksdag och regering är sådana händelser. Det kan t.ex. vara så att en utvärdering kan utgö-ra underlag för en förhandling eller en planerad proposition.

”Den som gapar över mycket…” Vad utvärd-erar vi? Avgränsningar Hitta kärnfrågorna Utvärderingar är i allmänhet tidskrävande. Vare sig man beställer eller planerar en utvärdering måste man därför vara noga med att begränsa sig, att rätta omfattning-en efter vad man faktiskt tror sig behöva veta och efter tid och resurser.

Ett uppdrag att utvärdera ”effekterna i miljön av att statliga myndigheter infört mil-jöledningssystem” som gavs året efter det att ett antal myndigheter fått i uppdrag att införa sådana system får utgöra ett exempel på ett inte helt genomtänkt val av tidpunkt. Däremot hade man kunnat titta på införandearbetet, hur introduktionsut-bildningen för ”pionjärmyndigheterna” fungerade, t.ex. Att utvärdera de lokala in-vesteringsprogrammens betydelse för miljöarbetet återkommande finns det goda motiv för. Genom att titta på ansökta och beviljade projekt får man en uppfattning om vilken miljöinriktning satsningarna har, i vad mån målkonflikter beaktas, om projekten leder till miljöförbättringar, liksom hur projekt med risker för miljön be-handlas. Därmed finns också möjligheter att påverka genom information och eventuella regeländringar. Att utvärdera arbetet mot miljökvalitetsmålen redan nu är också rimligt, eftersom vad som behöver göras egentligen varit känt länge. Däremot kan det vara i tidigaste laget att bedöma just betydelsen av att målen antagits av regering och riksdag och fått en mera systematisk och heltäckande utformning än tidigare.

Fundera på tidpunkten och skälen till att göra en viss utvärdering vid en viss tidpunkt. Genomförda eller väntade förändringar? Tecken på problem? Andra omvärldssignaler? Utvärderingen kan presenteras vid politiskt lämplig tidpunkt?



18

Engagemang och intresse förleder oss till att vilja ta reda på ”allt”. Utvärderings-uppdrag eller idéer formuleras ofta svepande: ”Utvärdera strandskyddet”, ”Vi mås-te utvärdera producentansvaret”, ”Miljömålen ska fortlöpande utvärderas”.

Med litet tur finns det kommentarer till uppdrag och idéer som noggrannare anger vad det är som bekymrar uppdragsgivaren, vad han eller hon vill veta. Uppdragen kan också vara mera förutsättningslösa. Då gäller det för den som ska göra utvärde-ringen att skapa sig en uppfattning om vad som är viktigt – kärnfrågorna, lämna förslag och få det bekräftat, att komma överens om ambitionsnivå, tid och resurser.

Systematisera tänkandet. Några hjälpmedel Det finns många olika typer av utvärderingar, och man kan lägga en rad aspekter på det ”objekt” man ska utvärdera. Ett bra hjälpmedel i många fall för att resonera sig fram till vad man är ute efter och vad som då är relevant att studera är någon form av systematisk genomgång från ”ax till limpa” i form av en tankekarta. Såda-na beskrivs i de flesta läroböcker med litet olika utformning och benämning. En händelsekedja är ett sätt att orsaks- och/eller tidsmässigt bena upp händelser, insat-ser, resultat och effekter. Man kan också tala om programteori, dvs. en beskrivning av hur den eller de som skapat eller beslutat om ”programmet” tänkt sig händelsers inbördes relationer (gör man A så händer B och det för i sin tur med sig C och D*).

I allmänhet påverkas människors agerande eller en för-ändring i miljön inte enbart av en påverkansfaktor eller händelse. Ju längre fram mot den slutliga effekten man kommer, desto mer blandas effekten av t.ex. ett styrme-del eller en annan åtgärd med andra inflytelser. Desto svårare blir det också att urskilja just det aktuella styr-medlets eller åtgärdens effekter. Det kan innebära att man behöver söka efter påverkan från flera håll och effekter på mer än ett område – efter parallella händel-sekedjor. En programfältsteori är en annan benämning. Man försöker beskriva vad man vet eller tror om hur olika förhållanden, aktiviteter och åtgärder påverkar den företeelse eller det händel-seförlopp man vill utvärdera. Handlar studien om ett styrmedel, utgår man från hur styrmedlet självt tänkts fungera, men försöker också bedöma vilka andra faktorer som verkar i samma eller motsatt riktning osv.

Det kan vara praktiskt att reda ut vilka drivkrafterna i samhället är bakom de aktivi-teter som ställer till eller motverkar ett problem, vilka styrmedel som samhället använder för att påverka. Finns styrningar på andra områden som har effekt också på det objekt eller förlopp man tänker studera? Vilka effekter har styrmedlen och på vem? Vad är det i övrigt som påverkar? Resultatet av en sådan genomgång kan bli både gamla välkända förhållanden och en del Aha-upplevelser. Man kan klara ut vilka samhällssektorer som är mest berörda, vilka intressenterna kan vara etc.

*Eller för att vara mer konkret: Om vi lägger en skatt på naturgrus blir gruset dyrare, vilket gör att bergkross får ett bättre konkur-rensläge och att en del av efterfrågan förs över dit. Effekten blir lägre takt i förbruk-ningen av naturgrus, lättare att ”spara grusåsar”



19

Följande schematiska bild, utan anknytning till något särskilt styrmedel eller miljö-problem, kan ge en idé om tankebanorna. Det kan tilläggas att det här schemat trots allt är förhållandevis enkelt.

Tanken bakom rutorna och pilarna är att ett program eller ett styrmedel förval-tas/genomförs av myndigheter, som i sin tur styr/påverkar näringslivet och /eller hushållen, konsumenterna, dels genom att använda styrmedlet, dels, kanske, genom information i olika former. Redan införandet av ett styrmedel innebär information om vartåt de beslutande strävar. Hushållen agerar utifrån vad företagen erbjuder, sin reaktion på den information de får (den kan t.ex. också komma från ideella organisationer, och den kan förmå konsumenterna att ställa krav på företagen att skapa förutsättningar för ett mer miljövänligt agerande). Konjunkturen kan rent allmänt påverka efterfrågan på t.ex. de varor eller tjänster som påverkar det som programmet vill åstadkomma. Påverkan kan riktas från ideella organisationer till sektorn, enstaka branscher eller till enskilda företag. Bransch- och intresseorganisa-tioner kan försöka påverka myndigheter (lobbyverksamhet), företag och enskilda medlemmar i eller mot programmets riktning. Myndigheter och företag kan påver-ka genom miljökrav i samband med upphandling. O.s.v. Inte sällan får man så småningom ett virrvarr av rutor och påverkanspilar.

Det är härur man ska välja ut vad man ska gå vidare med. Att gå till botten med allt är nästan oöverstigligt. Kanske bör man välja ut några kritiska punkter att titta närmare på, kanske är man mera betjänt av en bred men grund studie. Kanske bör man inte följa kedjan ända ut till de slutliga effekterna. I många fall kan man ”backa” ett stycke från den önskade effekten i miljön. Vi vet ofta vilka händelser litet längre bak i kedjan som är nödvändiga för att effekterna ska bli de önskade. Där är det för det mesta lättare att mäta. Och, vilket är väsentligt, man hittar troli-gen resultaten snabbare där. Miljön reagerar i allmänhet långsammare.

Centralmyndighet

Kommun

Läns- styrelsen

”Program” t.ex. lagar, information

Sektor

Bransch

Företag

Hushåll eller

konsument

Utfall, resultat, effekt

Omvärldsfaktorer: konjunktur, internationella förhållanden, drivkrafter (t.ex. transportbehov, energibehov) andra styrmedel,

andra myndigheters agerande, ideella organisationer etc.



20

Man kan alltså välja att titta närmare på en del av händelsekedjan som verkar sär-skilt intressant, man kan välja att gå så långt fram i kedjan där man tror att effekter av en viss insats fortfarande går att avläsa. Man kan välja avsnitt där det finns gott om data. Vad man väljer beror på beställning och syfte. Detta är en viktig del av utvärderingsarbetet. Vilka frågor som ställs och hur de ställs styr vilka svar utvär-deringen kan ge. Här kommer förstudien in. Redan en kartläggning av det här sla-get är f.ö. något av en förstudie; man kartlägger och försöker få en bild av ”var skon klämmer” eller vad det är som bidrar till att något går bra. Förstudien åter-kommer vi till senare.

Strandskydd, producentansvar – några exempel Om vi t.ex. får i uppdrag att ”utvärdera strandskyddet” kan det finnas en rad in-fallsvinklar (Obs: Detta är ett teoretiskt exempel för att visa på sätt att tänka. Det har en viss verklighetsförankring.)

En helt förutsättningslös utvärdering skulle kunna avse läget längs våra kuster, sjöar och vattendrag – hur det har utvecklats, hur mycket tillgänglig strand som för-svunnit och konsekvenserna av detta för friluftsliv och biologisk mångfald. Med någon redovisad uppfattning av vad som är acceptabelt skulle man sedan kunna bedöma om styrmedlet fungerat som det var tänkt. Det skulle bli en omfattande historia med naturvetenskaplig inriktning.

Problemet uppfattas allmänt vara att dispenser från strandskyddsbestämmelserna beviljas alltför generöst, framför allt i tätorts- och tätortsnära kommuner. Därför ligger det närmast till hands att utgå från att en allmänt hållen uppmaning att utvärdera strandskyddet främst avser mängden dispenser.

Det finns en lång rad frågor som skulle kunna utvärderas. En som snabbt dyker upp är t.ex. om styrmedlen fungerar som avsett och om de är tillräckliga. En annan fråga är om beslutsfattarna fattar ”rätt” beslut – om de tillämpar bestämmelserna så som lagstiftningen förutsätter. En tredje fråga kan gälla om besluten hanteras på ”rätt” nivå. Man kan också behöva värdera förutsättningarna för att besluten ska bli bra, t.ex. handläggarnas och beslutsfattarnas kompetens, arbetets organisation och tilldelade resurser. När man klarat ut vilka olika faktorer som skulle kunna ha bety-delse för hur dispensgivningen fungerar får man med hänsyn till resurser i tid och personal välja ut de frågor man tror är viktigast – kärnfrågorna. En förstudie kan då vara till god hjälp.

Strandskyddsbestäm-melserna innebär i kort sammandrag att det inom 100 meter från strandlinjen i vattnet och på land är förbjudet att bl.a. bygga nytt, ändra befintlig bebyggelse till andra ändamål, utföra anläggningar eller i övrigt vidta åtgärder som hindrar allmänhe-ten från att färdas fritt eller som väsentligt förändrar livsvillkoren för djur och växtarter. Strandskyddet kan utvidgas till 300 meter.



21

En utvärdering med förhållandevis små resurser skulle kunna inriktas på att kart-lägga i vilken omfattning de olika strandskyddsreglerna tillämpats, hur mycket stränder som ”försvunnit” genom dispenser och i vilka kommuner som reglerna tillämpas mest generöst. Genom att gå igenom ett tillräckligt stort antal dispensbe-slut skulle man också kunna få en uppfattning om hur bedömningarna görs, framför allt om de särskilda skäl som lagen kräver finns och har redovisats.

En mera ambitiös uppläggning skulle dessutom kunna titta på utvecklingen över tiden, och försöka knyta förändringar i frekvensen dispenser till förändringar i styrningen. Genom att omfatta också faktorer som beslutsnivå, handläggarnas kompetens och typ av kommun skulle studien kunna få användning även i frågor om hantering och beslutsnivå för andra miljöfrågor.

På motsvarande sätt kan en utvärdering av producent-ansvaret få många olika utformningar beroende på vad man vill veta. Här finns mål för hur stor procent av olika förpackningstyper som ska återvinnas. En variant är då att bedöma dagens återvinningsnivåer mot målen, och kanske också mot eventuella tidplaner eller del-mål. Intressant kan också vara att se hur utvecklingen över tiden varit. Det kan kanske ge en antydan om huruvida det hela går framåt, har stagnerat eller rentav backat i något avseende. I synnerhet om man noterar något oväntat bra eller dåligt kan det finnas skäl att försöka hitta förklaringarna till det – i organisation, introduktion, information, personalens kompetens och engagemang eller dyl. Det kan finnas skäl till jämfö-relser mellan olika förpacknings- eller varutyper, olika entreprenörer, återvinningsföretag osv.

Andra infallsvinklar är att ta reda på hur företag på olika nivåer uppfattar produ-centansvaret och de krav det ställer. Hur ser kommunerna på det och vad gör man på den kanten? Vad är det som får konsumenterna att återvinna eller inte återvinna förpackningar? Hur har informationen till hushållen fungerat? Hur fungerar åter-vinningsstationerna och vilken betydelse har det för återvinningsnivåerna?

De samlade kostnaderna för återvinningen i relation till vad ”vi” medborgare eller miljön får för pengarna är naturligtvis intressant, men som på många av miljövår-dens områden svår att göra, eftersom framför allt en del av vinsterna är svåra att kvantifiera.

I förlängningen tänks producentansvaret leda till att företagen använder färre för-packningar, tillverkar förpackningar och produkter som är mera resurssnåla, enkla-re att återvinna eller på annat sätt är mera miljöanpassade. Att ta reda på om ut-vecklingen gått i den riktningen, generellt eller i vissa branscher, vad det i så fall

Producentansvar innebär bl.a. att producenterna ska se till att deras produkter samlas in och åter-vinns när de är be-gagnade. Det finns för närvarande lag-stadgat producentan-svar för förpackning-ar, däck, returpapper, bilar och elektriska och elektroniska produkter. Det lång-siktiga syftet med producentansvar är att det ska leda till utveckling av mer miljöanpassade produkter.



22

beror på (producentansvaret eller annan styrning och i så fall vilken/vilka) och hur det har gått till, är också ett sätt att gripa sig an frågan om producentansvaret.

Det är förstås frestande att ”gå hela vägen”, oavsett vilket område man ger sig in på att utvärdera. Nyfikenheten växer medan man funderar. Det har också visat sig att många mindre erfarna utvärderare ofta försöker ta alltför stora grepp. Men be-gränsningar är nödvändiga, och det gäller att bestämma sig för vilka nyckelpunk-terna eller kärnfrågorna är – vad det är man framför allt vill veta. Det går ju också att dela upp en utvärdering, ta en bit i taget och därifrån gå vidare med andra in-tressanta områden.

Förstudie – nyckeln till kärnfrågorna Om man är mycket kunnig inom det sakområde man ska utvärdera, om beställ-ningen är utomordentligt tydlig och klar och området begränsat, är det bara att sätta igång att leta data och annan information över hela området.

I alla andra fall är det klokt att göra eller låta göra en förstudie först. Det är en god hjälp att hitta kärnfrågorna. En förstudie kan vara allt från att en kunnig person skriver en PM eller att man resonerar med en rad experter till att man gör en rätt omfattande och bred studie för att klara ut vad man behöver fördjupa sig i. Den kan bestå i en litteraturgenomgång eller en översikt av tillgängliga data, ett seminarium med kunniga personer, etc. Förstudiens omfattning varierar med hur bekant man är med ämnet för utvärderingen och givetvis med hur komplicerat det är, hur många intressenter som berörs, utvärderingens ambitionsnivå, anslagna resurser etc.

Förstudien är en hjälp att klara ut flera olika frågor. Den är grunden för att besluta om en utvärdering ska göras (om man inte har ett uttryckligt uppdrag). Kanske redan förstudien ger de svar man vill ha, eller så visar den att det inte går att få fram data, att tidpunkten är olämplig eller att någon fråga kommer att vara överspe-lad när resultatet kan vara framme. Den kan visa på att kärnfrågorna är andra än de man tyckt sig ana eller som uppdraget anger. Den kan givetvis också bekräfta att man är på rätt spår.

Syftet med en förstudie är också att skapa sig en bild av hur sammanhangen ser ut, vilka ”de ömma punkterna” är, vilka frågor som kan och bör besvaras och var det alltså finns skäl att fördjupa studien, vilka påverkansfaktorer och effekter man bör titta på, och vilka intressenter man bör hämta uppgifter ifrån eller diskutera med. Det kan också finnas skäl att tänka över hur den omgivning ser ut som kommer att beröras av och kanske påverka utvärderingen eller användningen av den. Vilka vill eventuellt inte se resultatet av arbetet? Varifrån kan man vänta sig stöd? Finns det faktorer som politiska krafter, intressemotsättningar eller personlig prestige som kan komma att styra arbetet?

Förstudien kan också ge en uppfattning om var och inom vilka områden det går att få tag på data – vad som redan finns och vad man kan behöva skaffa in just för



23

utvärderingen. Tanken är att förstudien ska vara en hjälp att planera och avgränsa utvärderingen så att den blir hanterlig.

Med förstudien i bagaget är det också lättare att diskutera med uppdragsgiva-ren om syfte, inriktning och omfattning på utvärderingen, om tidplan och resur-ser. Allt detta är faktorer som i sin tur påverkar valet av utvärderingsmo-dell(er) och metoder för insamling av data. Att först göra eller låta göra en förstudie kan också vara en väg för en beställare att bättre kunna precisera en beställning. Man kan t.ex. göra en förs-tudie som underlag för upphandling av (delar av) en huvudstudie.

Kan vi? Vill vi? Törs vi? Vem utvärderar? Utvärdering är en profession. Det finns högskoleutbildningar i utvärdering (eng: evaluation), och det forskas i det. Det finns internationella sammanslutningar för utvärdering och utvärderingsforskning. Kan då vem som helst utvärdera? Som med de flesta professioner är det nog så att amatörer med utbildning, handledning och övning kan ta sig fram hjälpligt även på det här området. Tänker vi på att utvärde-rarna söker sig till utvärderingsprofessionen från många andra kunskapsområden och att många av oss är ganska vana utredare, borde vi kunna närma oss utvärde-randet med tillförsikt.

Sakkunnig eller utvärderarproffs? En ”proffsutvärderare” som ska utvärdera något på miljöområdet, har förmodligen god kunskap om olika perspektiv och angreppssätt, modeller och metoder för att göra utvärderingar av olika slag – analysera effekter, processer, funktioner, samla in data, göra statistiska beräkningar. Men analyser och bedömningar kräver också god kunskap om sakområdet, om miljömål, miljölagstiftning, ansvarsfördelning inom ”Miljövårdsfamiljen”, ekologiska sammanhang etc. Det kan vara mycket tidskrävande att läsa in eller på annat sätt hämta in den nödvändiga kunskapen.

Ett ”miljöproffs” har gedigna kunskaper om det område som ska utvärderas. Det är naturligtvis en stor fördel. Samtidigt kan det innebära risk för att vederbörande är så säker på hur saker förhåller sig att det kan var svårt att ”lyfta näsan över vattnet” och hitta andra samband som har betydelse.

Det finns många olika lösningar på dilemmat och det gäller att välja med hänsyn till utvärderingens syfte och inriktning – att hitta en lämplig kombination av utvär-derar- och sakkompetens. Man kan ta hjälp av en utvärderare (via konsult eller



24

inom verket) på planeringsstadiet och få hjälp med frågor och infallsvinklar som kanske inte är lika självklara för den sakkunnige med t.ex. naturvetenskaplig in-riktning. Stödet kan fortsätta i olika former under hela utvärderingsarbetet eller återkomma vid ett antal förutbestämda kontrollstationer. Det kan vara en fördel om de närmaste medarbetarna i ett utvärderingsprojekt får i varje fall en introduktion i utvärderingens terminologi och metodik för att underlätta kommunikationen.

Man kan välja att anlita utvärderare för att genomföra en utvärdering och själv ställa upp med material, referensgrupper och specialkunskap inom området. Man kan anlita utvärderare för delar av utvärderingen och göra andra delar själv.

För Naturvårdsverkets del kan det bli aktuellt att genomföra utvärderingar i sam-verkan med andra medlemmar av miljövårdsfamiljen eller miljömålsmyndigheter-na. Här kan man överväga att gemensamt anlita en utvärderare i rollen som handle-dare eller moderator.

Hur man väljer handlar inte enbart om vilken kompetens som är viktigast i det aktuella sammanhanget. Det handlar också om hur man ser på utvärderarens roll, och hur de som ska ta emot och helst använda utvärderingen ser på den. Söker man en opartisk, objektiv iakttagare eller en engagerad bedömare i den verksamhet som ska utvärderas? Den förra varianten kan ge en utvärdering som vinner större tro-värdighet hos omgivningen, men det andra valet hade kanske gett ett ”riktigare” och bättre underbyggt resultat.

Den traditionella bilden av den profes-sionelle utvärderaren som en objektiv och värdeneutral analytiker utifrån har börjat ifrågasättas. Uppfattningen att det krävs sakkunskap och engagemang för att kunna bedöma ett resultat eller en situation på ett insiktsfullt sätt har vunnit gehör. Det skulle innebära att utvärdering inte bör överlämnas helt till särskilda utvärderare som ser saker utifrån, utan att det är något som olika yrkesutövare bör ägna sig åt, låt vara med hjälp av uttalade mål, principer och teorier för det aktuella området.

Som så ofta är det förmodligen ett mellanting som är det bästa. Utvärderaren Ove Karlsson ser den externe utvärderaren som ett ”bollplank”, en handledare, utbildare och samtalspartner snarare än en domare som slår fast hur det egentligen är. Något att fundera över vid val av utvärderare Ove Karlsson diskuterar i sin utvärderingsbok några för- och nackdelar med extern respektive intern utvärderare. Resonemanget kan också i viss mån belysa valet



25

mellan professionella utvärderare och i vårt fall miljösakkunniga. (Ove Karlsson utgår i huvudsak från utvärdering av försöksverksamhet inom ramen för kommuna-la tjänster inom skola, vård och omsorg. Delvis gäller hans synpunkter även oss). Om vi ”översätter” till våra förhållanden blir det ungefär så här:

Om sakkunniga inom verket genomför en utvärdering är de ofta väl insatta i de miljöaspekter som ska beaktas. De kan en hel del om be-rörda verksamheter och kan ge en god bild av förlopp och samman-hang. Däremot kan de ha svårt att skilja på sina roller som miljövår-dare och utvärderare. Det finns risk för att man tonar ner misslyck-anden och lyfter fram det som gått bra, om det handlar om något där ”hjärtat finns med”. Vanemässig inställning till andra myndigheter kan påverka bedömningen (baksidan av att man kan området och de olika aktörerna). Erfarenheten av utvärdering och rapportering kan vara otillräcklig.Anlitar man i stället en professionell utvärderare ökar antagligen sannolikheten för en förutsättningslös och allsidig belysning. Utvär-deraren har distans till det som utvärderas och kan anlägga flera ge-nerella synpunkter (t.ex. i fråga om hur organisationer fungerar). Utvärderaren har specialistkunskaper i bl.a. forsknings- och under-sökningsmetodik. På minussidan kan stå bristande kännedom om den verksamhet el. dyl. som ska utvärderas och kanske brist på en-gagemang i de idéer eller problem som ligger bakom den utvärdera-de åtgärden eller styrmedlet. Utvärderaren kan också ha svårare att anpassa resultaten så att de blir direkt användbara i de verksamheter som utvärderas.

Vi kan, vi vill, vi törs – i synnerhet med litet hjälp Det är alltså mycket att fundera över när det gäller att organisera en utvärdering. De som vill ha generella regler för när vi själva ”ska” genomföra en utvärdering och när vi bör anlita konsult känner sig nog besvikna över den resonerande fram-ställningen. Men det är svårt att komma närmre än så eftersom både utvärderings-objekt, resurser och övriga förutsättningar varierar så mycket både från tid till an-nan och från enhet till enhet.

Patton definierar en extern utvärderare som en person som inte har en långsiktig, pågående ställning inom det program eller den organisation som utvärderas. När vi i Naturvårdsverket utvärderar miljöarbetet i samhället eller ett miljöpolitiskt styr-medel kan vi ses som ”externa” i förhållande till sektorsmyndigheter, länsstyrelser och kommuner, liksom till ”program”, insatser, som dessa myndigheter genomför.

Å andra sidan är vi som central miljömyndighet med ansvar att vara samlande och pådrivande i miljöarbetet involverade i många insatser på miljöområdet utan att direkt vara ansvariga för dem eller medverka i det löpande arbetet. Det kan ge en mellanställning som kan vara svår att hantera i utvärderingssammanhang: stor sak-



26

kunskap, stort engagemang, lyhördhet, men samtidigt risk för ”infångning” (alltför stark identifiering med/lyhördhet mot de utvärderade) eller förutfattade meningar.

En tumregel skulle kunna vara att ju mer vi i utgångsläget tycker oss veta ”hur det egentligen är”, desto större skäl finns det att ta hjälp av någon mera neutral utvär-derare. Risken för ensidighet eller partiskhet minskas också om man så mycket som möjligt engagerar intressenterna i arbetet. (Om intressentmodellen, se sid. 32f.)

Om verket självt har stor del i den eller de verksamheter som ska studeras eller betydelse för de resultat som ska bedömas, kan det vara klokt att utvärderingen görs av eller tillsammans med andra. Utvärderingslitteraturen hävdar visserligen att s.k. egenutvärderingar kan ge bra resultat, men det kan vara svårare att övertyga andra intressenter eller allmänheten om att det förhåller sig så.

När vi både kan samla ihop sakkunskap inom verket och se på litet distans på de verksamheter och resultat som ska utvärderas kan organisationen av utvärderingen hänga mera på tid, resurser och hur säkra vi känner oss på att anlägga utvärde-ringsperspektiv. Att vända sig till en extern konsult eller till utvärderare inom ver-ket för att få ett bollplank vid uppläggning och genomförande, men i stort sett själv (enheten, en projektgrupp el. dyl.) svara för det praktiska utvärderingsarbetet kan då vara en användbar modell.

Utvärderingsenheten Naturvårdsverkets enhet för strategier och utvärdering gör utvärderingar i egen regi eller tillsammans med andra inom verket. Enhetens medverkan i utvärderingar som drivs av andra bör helst avtalas i samband med verksamhetsplaneringen. Vi är öpp-na för mindre insatser i form av rådgivning, som samtalspartner och bollplank, och ställer upp i mån av tid.

Noggrann upphandling När man bestämt sig för att anlita en konsult för en utvärdering eller en del av den blir det fråga om upphandling. Dels måste man förstås följa gällande upphandlings-regler (se handboken på nätet och kontakta någon upphandlingssakkunnig). Dels måste man tänka på att mycket noggrant beskriva vad man vill ha hjälp med, vilka frågor man vill ha svar på, vilka sammanhang som ska belysas etc. Här har man god hjälp av en förstudie. Det kan också vara fråga om att ta hjälp med själva för-studien, som då förmodligen blir mera förutsättningslös. Det är dock viktigt att styra även den så långt det går, t.ex. genom att precisera syfte med utvärderingen, eventuella mål för den verksamhet som ska utvärderas och andra kriterier som är viktiga.

En utmärkt vägledning för att beställa utvärderingar har getts ut av Ekonomistyr-ningsverket: Att beställa utvärderingar – en vägledning (ISBN 91-7249-201-5).



27

Fokus i denna vägledning ligger på utvärderingsprocessen, inte på juridiska och ekonomiska aspekter av en beställning.

Verket har ramavtal med två utvärderingskonsulter på området Personal och orga-nisation, se lista på intranätet. För övriga typer av utvärderingar saknas ramavtal.



28

Modeller – hjälpmedel, inte tvångströjaEn hjälp för tanken Som nybliven ”utvärderare” ser man sig gärna om efter en modell eller metod att arbeta efter. – en steg-för-steg-vägledning att följa, och gärna en anvisning om vilken modell som bör användas när. Vedung inleder sitt modellkapitel med att konstatera att det råder djup oenighet om utvärderingars inriktning och metodiska grundvalar. Han sorterar ändå ett antal olika ansatser efter vad han kallar denorganiserande principen eller den grund-fråga som ställs i utvärderingen. Andra utvärderingsforskare och -praktiker sor-terar på sitt sätt. Ove Karlsson påpekar att även om de modellnamn som utvärde-ringsforskarna använder liknar varandra, finns det inget enhetligt beskrivningssy-stem som alla använder. För egen del sorterar och benämner han i huvudsak efter syftet med utvärderingen.

Inledningsvis kan det vara skäl att berätta om Riksrevisionsverkets utvärderings-modell som den skildras i verkets handbok i utvärdering (Handbook in Performan-ce Auditing)2. RRV:s modell går ut på att först titta på den verklighet som ska utvärderas (se ”Förstudie” ovan) och sedan skapa sig en modell för att på bästa sätt få svar på sina kärnfrågor. Det antyder att modeller snarare är något man tar till när man ska karakterisera en utvärdering än något man väljer och vrakar bland för att få ett rättesnöre för en planerad utvärdering, även om de kan vara till hjälp för tan-ken också i planläggningen.

Det är inte helt nödvändigt att döpa modellen. Försöker man placera in en utvärde-ring i något fack, upptäcker man ibland att den snarare blir en kombination av (de-lar av) flera av de modeller som beskrivs i litteraturen.

2 Se litteraturförteckning.

Det viktigaste är att man tänker igenom vad man vill veta och hur det ska gå till att få reda på det, och att man noga dokumenterar hur man har gått till väga och också motiverar varför.



29

Några utvärderingsmodeller Man kan skilja mellan resultatutvärdering och processutvärdering. Intressentut-värdering beskrivs ibland som en variant för sig, ibland som en modell för resultat-utvärdering.

Resultatutvärderingar innebär att man värderar resultaten av en åtgärd eller insats, t.ex. ett nytt eller förändrat styrmedel eller prövningssystem eller en ny typ av slåt-termaskin för öppna landskap. Processutvärderingar studerar förlopp. En process kan vara en engångsföreteelse, men man kan också behöva titta på återkommande processer, t.ex. handläggningsrutiner och samrådsprocesser, för att komma åt ett hinder eller en framgångsfaktor. En utvärdering är inte nödvändigtvis en fråga om den ena eller den andra inriktningen. Bådadera kan behövas för att man ska kunna bedöma eller förklara. Intressentutvärdering är för vissa författare en beteckning för utvärderingar där intressenterna engageras i stor utsträckning, oavsett om man i första hand är ute efter att studera resultat eller processer. Andra beskriver intres-sentmodellen som en modell för resultatutvärdering. Här tas den upp under model-ler för resultatutvärdering.

ResultatutvärderingBland modeller för resultatutvärdering kan man nämna:

Måluppfyllelseutvärdering eller mål-resultatmodell, Bieffektsmodell (som också är målbaserad), Mållös eller målfri utvärdering, Brukarmodell eller brukarorienterad utvärdering, varianter av målfri utvärderingBeslutsmodell eller beslutsorienterad utvärdering, Intressentmodell eller intressentutvärdering.

MODELLER FÖR UTVÄRDERING MOT FASTLAGDA MÅL Måluppfyllelseutvärdering avser att svara på två frågor: Stämmer utfallet överens med målet och beror det i så fall på insatsen, den åtgärd man vidtagit för att nå målet? Det är en enkel och tydlig modell, som ger besked om huruvida en insats – en reform, ett bidrag, en utbildning – fått avsedd effekt. Det krävs förstås att det finns i någon mening mätbara mål (som t.ex. en del av de nationella miljökvali-tetsmålens delmål) eller att sådana går att vaska fram. Om insatsen dessutom ligger nära resultatet – i en tänkt orsakskedja och/eller i tiden, bör sambandet mellan in-sats och utfall inte vara alltför svårt att belägga.

Om man beskriver förloppet med följande figur inser man att det inte bör hända alltför mycket i den ”svarta lådan” (omvandling) om det ska gå att belägga ett sam-band.



30

Till modellens nackdelar hör att den inte tar hänsyn till de uppoffringar som gjorts för att nå målet – kostnaderna. Dessutom är inte alltid målen så klara och mätbara att de duger som värderingsgrunder. Det händer också att det finns flera mål för en insats, t.ex. sysselsättning och miljövård, vilket komplicerar effektmätningen. Mo-dellen tar inte heller hänsyn till bieffekter av insatsen. Genom att man inte avses titta i ”svarta lådan” eller på händelser i omvärlden, förbiser man också andra för-klaringsgrunder till att programmet lyckats eller misslyckats.

Försök att motverka måluppfyllelsemodellens svagheter har lett till att den kom-pletterats eller utvidgats på olika sätt. Bl.a. kan man dela upp omvandlingsproces-sen i flera delar och se efter vad som hänt i ytterligare några led på vägen mellan insats och utfall. Man jämför t.ex. planerade kostnader, prestationer, etc. med de faktiska och gör i princip en måluppfyllelseutvärdering för varje del eller valda delar i systemet. En sådan kostnads- och resultatinriktad utvärdering fäster ofta främst avseendet vid inflödet av resurser och utflödet av prestationer för varje del och uppmärksammar inte processerna däremellan. Inget hindrar emellertid att man tittar närmare på orsakssamband och försöker reda ut om utfallet faktiskt har på-verkats av de insatta resurserna, prestationerna etc. Man kan alltså lägga större tonvikt vid processen om man vill. Står det klart att väntade effekter uteblivit eller, givetvis, inträffat, kan det vara intressantare med en förklarande processutvärdering (se sid. 33 och 46).

Inte heller med den här utvidgningen tas någon hänsyn till bieffekterna av en re-form eller en insats. Med tanke på alla de i och för sig behjärtansvärda åtgärder, styrmedel etc. som fått negativa bieffekter för miljön känns det för det mesta vik-tigt att få grepp om sådana effekter – liksom också bieffekter på andra områden av olika miljöinsatser. För att göra detta möjligt har utvärderarna utvecklat bieffekts-modellen. Här utgår man fortfarande från det centrala målet med en insats, utvärde-ringen är målbaserad, men man söker också efter bieffekter, både avsedda och oavsedda, positiva och negativa, förutsedda och oförutsedda. En del bieffekter kan man alltså resonera sig fram till, men modellen går också ut på att söka efter oför-utsedda bieffekter.

UTVÄRDERINGAR KAN GÖRAS MOT ANDRA KRITERIER ÄN MÅL De modeller som har beskrivits hittills har i förväg fastställda mål i centrum. Inte minst arbetet med miljökvalitetsmålen har visat på svårigheterna att hitta mätbara mål. Det vore att ålägga sig onödiga begränsningar om man bara skulle utvärdera områden där det finns mätbara och klart uttalade mål för den politik eller de åtgär-der i övrigt som utvärderas. Ett sätt att angripa problemet är att göra en s.k. målfri.utvärdering.

Insats Omvandling Utfall



31

Fördelen med det arbetssättet är att man inte är bunden av det man vet om avsedda effekter, utan kan söka effekter mera förutsättningslöst. En svaghet är att det inte direkt finns någon värdegrund att bedöma effekterna mot. En utomstående utvärde-rare kan då överlämna till den som beställt utvärderingen att själv bedöma och värdera resultaten. En annan lösning är att låta dem som utsätts för effekterna också värdera dem (Se brukarutvärdering nedan). Gör Naturvårdsverket utvärderingar på detta sätt väntas det att vi också ska värdera i varje fall miljöeffekterna. Då är det viktigt att man tydligt redovisar de värdegrunder och andra kriterier man använder i bedömningen. I en utvärdering med hållbarhetsperspektiv kan det vara på sin plats att också försöka diskutera effekter på sysselsättning och ekonomi, kanske också anlägga fördelnings- och demokratiperspektiv.

Ett sätt att hitta utvärderingsgrund för en målfri utvärdering är att göra en brukar-orienterad utvärdering. Då lägger man huvudvikten vid vad brukarna, dvs. allmän-heten eller en speciell grupp som en insats riktar sig mot, har för behov och för-väntningar och om programmet eller insatsen motsvarar dessa förväntningar. När vi deltar i kurser eller bor på hotell stöter vi ofta på enkla varianter av den här ty-pen av utvärdering. Man frågar i princip om vi är nöjda.

Brukarmodellen riktar in sig på mötet mellan programmet/insatsen och dess klien-ter och bortser från andra faktorer som kan vara värda att bedöma, t.ex. resursåt-gång, genomförande eller överensstämmelse med de ursprungliga planerna för insatsen. Även om brukarorienterade utvärderingar är viktiga i många utvärde-ringssammanhang bör de därför oftast ses som komplement till andra modeller. Hushållens – brukarnas – bedömning av återvinningsstationerna kan t.ex. ge en viktig pusselbit i en utvärdering av producentansvaret, men ger inte hela bilden av hur ansvaret fungerar.

En annan typ av målfri utvärdering är en modell som är helt inriktad på att ge in-formation inför kommande, väl definierade beslut – beslutsmodellen. Man kan t.ex. ta reda på hur olika sätt att hålla betesdjur bidrar till ett visst miljötillstånd inför ett beslut om hur man ska restaurera någon igenvuxen ängsmark. Man kan utvärdera tillsynsrutiner inför utformningen av en tillsynshandledning. Vi gör alla utvärde-ringar enligt beslutsmodellen då och då, t.ex. inför köp av någon kapitalvara. Också mera strategiska beslut på regeringsnivå kan grunda sig på en beslutsfixerad utvär-dering.

Här är det alltså inte mål eller resultat som styr hur utvärderingen utformas, utan de beslut som ska fattas. En fördel med denna modell är en god chans att resultatet kommer till användning i den specifika beslutssituationen. Däremot är risken stor att resultatet, just för att det är så specialanpassat, inte ger någon generellt använd-bar information.



32

FRÅN KONTROLL TILL DELAKTIGHET – INTRESSENTMODELLEN Utvärdering som företeelse har utvidgats från ett medel för mätning och kontroll (mål-resultatutvärdering) till ett sätt att ta reda på och lära av hur resultatet har kommit till (processutvärdering) och vidare till ett medel att skapa delaktighet genom att låta olika intressenter medverka (intressentutvärdering). Intressentutvär-dering anses öka relevansen i utvärderingens frågor och resultat. Intressenternas delaktighet blir också större genom att de både får inflytande över vad som ska utvärderas och deltar i diskussionen om resultaten. I vissa sammanhang ses denna typ av utvärdering också som ett medel att förbättra intressenternas situation.

Det innebär inte att den nyaste modellen för utvärdering genomgående är den som bör användas. Snarare visar det att utvärdering efter hand har fått ett allt vidare användningsområde och att man fått allt fler modeller att välja mellan – och att kombinera för att anpassa till varje enskild utvärderingssituation.

Metoden att ta med intressenterna i utvärderingen kan ses som en utvidgning av brukarorienterad utvärdering, ett sätt att genomföra en effektutvärdering, men det kan givetvis vara minst lika motiverat att engagera intressenterna i en processut-värdering (se nedan).

Intressenter är benämningen på alla dem som berörs av en reform, en ändring, ett program. Både ”brukare” och ”beslutsfattare” och dessutom de som genomför och administrerar det är egentligen intressenter. Utvärderingsarbetet börjar med att identifiera intressenterna. Sedan kan man välja att beakta alla eller några av dem. Intressenternas förväntningar och farhågor bestämmer vad som ska utvärderas. Vilka förväntningarna och farhågorna är kan man reda ut på många olika sätt, men oftast används kvalitativa metoder, framför allt intervjuer. (Vedung kallar intres-sentmodellen för lyhördhetsutvärdering.) Detta innebär att det tar tid att komma fram till vad det faktiskt är som ska utvärderas. Materialsamlingen för själva utvär-deringen blir oftast också kvalitativ. Värderingen kommer att göras mot flera vär-degrunder, eftersom det är intressenterna som tillhandahåller dem och även svarar för värderingen. Intressentmodellen kan tillämpas på såväl effekt- som processut-värderingar.

Till intressentmodellens fördelar brukar anföras att de berörda har kunskaper om programmet, genomförandet (processen) och effekterna som det är viktigt att ut-värderaren får ta del av. Det är ett sätt att få information om bieffekter, hinder och påverkan från andra program eller styrmedel och problem eller framgångsfaktorer i genomförandet, som annars kunde vara svårare att hitta.

Huvudargumentet för intressentmodellen anses dock vara att den ökar resultatens användbarhet, eftersom chansen är större än annars att de berörda verkligen känner sig berörda. Intressentmodellen kan också vara ett sätt att hantera avsaknaden av mål eller oklara mål och mål som är svåra att väga samman.



33

Nackdelar finns också. Det finns t.ex. inget entydigt svar på vilka som faktiskt är berörda. Här måste utvärderaren avgränsa och motivera avgränsningen, och det finns risk för att de bäst organiserade och mest högljudda grupperna blir de som uppmärksammas. Modellen är också resurskrävande, i synnerhet om man vill låta alla berörda göra sig hörda.

Vid sidan av möjligheterna att hantera flera oklara mål och att få resultaten använ-da finns slutligen ett starkt argument för intressentmodellen, nämligen kunskapsar-gumentet. En förstudie kan ofta lämpligen utformas enligt intressentmodellen, om än mera översiktligt. Det är då ett sätt att få ett visst grepp om innebörd, genomfö-rande och utfall av den reform, förändring eller process som man ska utvärdera.

PROCESSUTVÄRDERING Utvärderingar av processer har en annan inriktning än resultatutvärderingar. Pro-cessutvärderingar söker inte i första hand efter vilka effekter eller resultat som t.ex. besluts- eller planeringsprocesser har, utan hur processerna går till. De används ofta i förklarande syfte. (jfr sid. 46 f.). Man kan då säga att man öppnar ”svarta lådan”, tittar närmare på omvandlingsdelen, i t.ex. en måluppfyllelseutvärdering och tar reda på vad som hänt för att finna förklaringar till utfallet.

Men syftet med processutvärderingar är långtifrån alltid att hitta förklaringar. Det kan också vara att bedöma, värdera en process eller ett system. Sprids relevant information till dem som behöver den? Får alla berörda parter vara med i proces-sen? Vem bär ansvar för beslut som fattas under processen? Processutvärderingar kan exempelvis belysa hur arbetet mot miljömålen bedrivs (till skillnad från frågan om miljömålen nås) eller hur länsstyrelser och kommuner arbetar med tillsyn. Rättssäkerhet, demokrati, snabbhet och kostnader kan också vara faktorer som studeras.

Bedömningskriterier kan också vara modeller för hur en process eller ett system ”bör” fungera. Det kan röra sig om teoretiska modeller eller jämförelser med lik-nande befintliga system eller processer. En sådan typ av processutvärdering kallas av en del utvärderare för systemutvärdering. Det finns också andra benämningar, liksom det finns de som menar något annorlunda med begreppet systemutvärde-ring.

Processutvärderingar kan kasta ljus över flaskhalsar i miljöarbetet eller ge goda exempel när det gäller hur en viss typ av miljöarbete, t.ex. tillståndsprövning eller tillsyn, kan bedrivas. Utvärderingar av organisationers interna arbete har också ofta formen av processtudier.

Ekonomiska ansatser Det är naturligtvis inte oväsentligt om mål har nåtts till rimliga eller i förväg beräk-nade kostnader eller om en orsak till att mål inte nåtts är otillräckliga resurser, etc. Utvärderingar i kontrollerande syfte har ofta ekonomiska kriterier i centrum. Olika



34

ekonomiska ansatser kan användas i de beskrivna modellerna för att belysa effekti-vitets- och produktivitetsaspekter. I vissa fall kan de tillämpas fristående. Här nämns endast kort några sådana ansatser. I litteraturförteckningen finns tips om mer att läsa. Verkets miljöekonomer kan också ge vägledning.

En typ av ekonomisk utvärdering som man från politiskt håll gärna vill ha, och som ofta görs inom företagarvärlden, är en bedömning av effektiviteten eller värdet på effekterna i förhållande till kostnaderna , en kostnads-intäktsanalys. Svårigheterna för oss i våra utvärderingar är att effekter i miljön – liksom på många andra håll i samhället – i allmänhet är så svåra att beräkna i pengar. Det innebär att man då få nöja sig med att beskriva effekterna i fysiska termer och ställa de beskrivningarna mot kostnaderna i kronor, s.k. kostnads-effektivitetsanalys.

En liknande ekonomisk ansats inriktar sig i stället på produktiviteten. Man kan t.ex. ställa prestationerna inom ramen för en viss process mot kostnaderna för att driva den, kanske antalet prövade ansökningar om en viss typ av tillstånd i förhållande till antalet inkomna ansökningar. Vill man veta något om effekten av tillstånds-prövningen, t.ex. på de aktiviteter som regleras eller i miljön, får man komplettera med andra modeller.

En helt annan ekonomisk ansats bygger på s.k. ekonometriska metoder, som inne-bär att man söker statistiska samband mellan en åtgärd (t.ex. skatt på naturgrus) och dess effekter (minskad användning av naturgrus). Sådana undersökningar kan ge värdefull information om hur ekonomiska styrmedel verkar.

I Naturvårdsverkets rapport 5005 ”Val av åtgärder – metod för sammanvägning och samhällsekonomiska bedömningar” finns avsnitt som går närmare in på eko-nomiska metoder. Både verkets utvärderare och miljöekonomer kan ge hjälp och vidare hänvisning till litteratur och konsulter. Litteraturförteckningen tar upp en del böcker med inriktning på sådana metoder.

Ibland vet experterna bäst Utvärderingar av mycket komplicerade eller speciella företeelser kräver ett så stort mått av specialiserad kunskap att bara de som är experter inom området egentligen kan uttala sig om kvaliteten på resultat, genomförande etc. Då kan experter anlitas för att genomföra hela utvärderingen – man kan säga att man väljer en expertmo-dell. Man tar inte ställning till hur utvärderingen ska genomföras utan endast till vem som ska göra den. Man kan också se expertgranskning som en metod för att genomföra en del av en utvärdering, t.ex. för att bedöma resultat eller process.

En typ av expertutvärdering, som ofta förekommer i forskningssammanhang är kollegiebedömningen. Medlemmar av en viss profession utvärderar andra profes-sionsmedlemmars arbete och verksamhet utifrån yrkeskårens egna kvalitetskriteri-er. En annan sådan professionell modell är den självvärdering som ibland görs



35

inom en krets av experter eller sakkunniga medarbetare där man själv utvärderar utfört arbete mot bakgrund av det man vet om yrkets kvalitetskrav, etik m.m.

Olika perspektiv ger olika ”sanningar” Genomgången av modeller visar på ett sätt att sortera i en uppsjö av olika modeller och metoder för att genomföra en utvärdering. Alla modellerna har sina för- och nackdelar. Syfte, utvärderingsobjekt, resurser och tidplan blir bestämmande för hur man väljer ur mängden. Att ha syftet klart för sig är viktigt, eftersom de resultat man får fram av en utvärdering styrs av vilket perspektiv man anlägger, vilka krite-rier man utvärderar mot och vilken information man skaffar in. Man får inte fram ”sanningen” med hjälp av en utvärdering, utan en ”sanning” bland många. Vilken beror till stor del på hur man har utformat utvärderingen.

Detta visar också på de be-gränsningar och risker som är förknippade med utvärdering-ar. Utvärderaren kan medvetet eller omedvetet styra de svar som utvärderingen ger genom val av perspektiv, intressenter osv. Utvärderaren, vare sig det är vi själva eller en konsult har alltså en rad viktiga val att göra vid uppläggningen av en ut-värdering. Ett liknande ansvar gäller för den som beställer eller handlar upp en utvärde-ring.

Varning för begreppsexercis Modellbeskrivningar – om än kortfattade – kan vara till hjälp både när man plane-rar en utvärdering och senare under arbetets gång. De kan bidra till att man håller den planerade linjen och så långt möjligt får svar på de frågor man tänkte sig. De kan också vara till hjälp för att beskriva hur man har gjort. Med tanke på hur mycket utformningen av utvärderingen betyder för resultatet är det ett grund-läggande krav att man ger en noggrann ”varudeklaration” av utvärderingen. Den som tar del av resultatet måste få veta vad man har sökt efter, vilka kriterier man har värderat emot, hur man definierat och valt intressenter etc. Ju mer komplicera-de frågor man hanterar, desto viktigare är det att redovisa hur man har tänkt och gjort, vilka förutsättningar man har utgått ifrån, vilket material man bygger sina bedömningar och slutsatser på.

Det finns ett gammalt ordspråk som säger ”Som man ropar i skogen får man svar”. Det tål att tänka på i utvärderings-sammanhang också.



36

Även om man följer RRV:s metod som går ut på att skapa sin egen modell efter utvärderingssituationen, kan man ha en viss nytta av modellbeskrivningarna här eller i någon lärobok, som stöd för tanken och hjälp att beskriva hur man gått till väga. Men – återigen: Det viktiga är just att beskriva vad man har gjort, inte att namnge modellen. Redan av den här korta genomgången har det framgått att olika utvärderare har olika benämningar på likartade sätt att närma sig ett utvärderings-problem. Det händer också att en viss benämning ges olika innehåll. Slutsatsen blir att man ska dra nytta av modellbeskrivningarna, men inte förlora sig i begreppsex-ercis.

Öppenhet, förankring, engagemang Syftet med de flesta utvärderingar är att de ska användas till något: som underlag för omprövning, för att förbättra, för att lära inför nya beslut. De kan vara beställda och efterfrågade. Ändå blir många utvärderingar inte mycket mer än hyllvärmare. Av olika skäl används de inte.

Det finns inget universalrecept för att få utvärderingar använda, men några viktiga ingredienser är öppenhet, förankring och engagemang. Öppenhet från utvärderar-nas sida gentemot de berörda, intressenterna, både om det faktum att en utvärdering pågår och om syfte, kärnfrågor och, så småningom, om bedömningar. Förankring av uppdraget hos beställaren och av antaganden, lägesbeskrivningar och andra faktasammanställningar hos de berörda. Engagemang från intressenter-na/användarnas sida. Ofta är det just de viktigaste intressenterna som också bör vara de viktigaste användarna.

Utan att välja en renodlad intressentmodell kan man i den modellkombination man väljer se till att ha intressenterna eller de viktigaste av dem med i arbetet från bör-jan. De kan vara viktiga samtalspartner i en förstudie. De kan vara nästan nödvän-diga för att formulera kärnfrågor, hitta infallsvinklar och bedömningsgrunder och inte minst för att hitta förklaringar till den utveckling, de avvikelser etc. som man noterar.



37

Från idé till använd utvärdering”Grundrecept” med variationer Av det föregående ser man att det inte går att ge ett entydigt och detaljerat recept på en lyckad utvärdering. Det finns många olika typer av utvärdering, en mängd ”ingredienser” att välja bland, och de kan kombineras på olika sätt. Ett antal ar-betsmoment återkommer dock i de flesta utvärderingar, om än med varierande tyngd. Momenten följer här i turordning. I viss mån följs Vedungs åttapunktspro-gram för utvärdering.

Momenten följer logiskt på varandra, men det innebär inte att man avverkar dem ett efter ett utan att se tillbaka. Slutsatser i ett efterföljande moment kan påverka ett föregående. Det gäller kanske inte minst i fråga om beskrivningsmodellen, som kan ge impulser till hur utvärderingen bör organiseras. Liksom i andra utredningssam-manhang kan man givetvis ta ett steg bakåt och justera vid behov. Redan vid plane-ringen (En plan är nödvändig, och kan gärna följa grundreceptet) gör man för övrigt en översiktlig modellbeskrivning med hjälp av egen eller andras kunskaper. Vi rör oss ju sällan på helt okänd mark.

Syfte Syftet med en utvärdering påverkar ambitionsnivå, resurser och tillvägagångssätt. Därför är det viktigt att redan inledningsvis göra klart för sig varför utvärderingen görs, vad vi kan och vill påverka, vem som kommer att använda resultaten och till vad. Man bör också ägna en tanke åt vilket motstånd det kan finnas mot att accep-tera utvärderingens resultat, vilka som vinner eller förlorar på tydliga konstateran-den och tydliga förslag i en eller annan riktning. Stäm av med beställaren om det gäller ett uppdrag. Klara ut med en eventuell. konsult att ni är överens om syfte och inriktning – en förutsättning för att man ska få vad man vill ha. Diskutera inom arbetsgruppen så att alla strävar åt samma håll.

Organisation Bestäm vem som ska genomföra utvärderingen. Person eller arbetsgrupp inom verket? Extern utvärderare för hela eller delar av utvärderingen? Utvärderar vi tillsammans med andra myndigheter med krav på konsensus om resultatet eller engagerar vi dem på annat sätt och står för utvärderingen själva? Syftet kan ge en fingervisning. Betoning på kontroll talar mera för utvärdering på egen hand eller genom konsult. Betoning på främjande eller kunskapsutveckling kan vara motiv för gemensam utvärdering eller någon variant av intressentutvärdering. Oavsett om utvärderingen bedrivs helt eller delvis inom eller utanför verket måste någon i ver-ket ha ansvaret för utvärderingen för verkets räkning, vara projektledare. Projektle-dare och utvärderare behöver däremot inte vara samma person.

Tidsgränser, tillgänglig kompetens, konsultmedel osv. är naturligtvis avgörande för vad man väljer. Upphandling tar tid. Är tiden knapp kan en lämplig lösning därför



38

vara att själv (inom verket) genomföra utvärderingen med diskussioner inlednings-vis och under hand med någon av de konsulter som redan finns upphandlade. Se konsultlistan.

Över huvud taget är det bra med ett bollplank att diskutera planer, uppläggning och metodval med. Utvärderingsenheten ställer som sagt upp i mån av tid. Konsulter kan också anlitas som diskussionspartner. För ekonomiska bedömningar rekom-menderas kontakt med miljöekonomerna. Lägg gärna litet tid på en kort introduk-tionsutbildning för dem som kommer att arbeta mest med utvärderingen. Se också sid. 23 ff.

En karta att gå efter (insats, genomförande, resultat, effekter, bedöm-ningskriterier)När vi bestämt resans mål och ressällskapet behöver vi en karta. Dvs. vi behöver en modell av den verklighet vi ska utvärdera. Statskontoret kallar kartan för beskriv-ningsmodell. Andra utvärderare talar om programteorier, händelsekedjor, mål-

medelanalyser. Gemensamt för dessa modeller är att de beskriver hur ”program-met”, verksamheten, styr-medlet etc. är tänkt att fungera. Beskrivningsmo-dellen ska, precis som en karta, ge en teoretisk för-ståelse för det vi ska utvär-dera. Den ska ge vägled-ning om vilka frågor som bör besvaras och vilken information man behöver ta fram för att bedömning-arna ska bli så rättvisande som möjligt. (Se också ”Den som gapar över mycket”, sid. 17 ff.).

En beskrivningsmodell kan innehålla: insatsen (t.ex. ett antal åtgärder för att främja ett miljömål, införande eller ändring av ett styrmedel, en organisationsändring, en ny hand-läggningsrutin, en utbildningsinsats), genomförandeprocessen (vägen mellan insats och resultat i ett eller flera steg - t.ex. vilka prestationer styrmedlet tänks leda till hos olika aktörer och vilka effekter detta i sin tur tänks få, under vilka förut-sättningar aktörerna kan väntas agera som avsett, vad som krävs för att resultaten ska bli de önskade, hinder och framgångsfaktorer i ge-nomförandet),



39

resultaten (kan vara prestationer, utfall, resultat i flera led, ger väg-ledning om vilken information man behöver samla in, vilka presta-tioner och resultat i olika led man behöver titta på, hur långt fram i beskrivningsmodellen man behöver/kan gå med hänsyn till data och möjligheter att belägga samband mellan insats och resultat) förklaringsfaktorer (orsaksfaktorer, omvärldsfaktorer, sådant som – utöver insatsen – kan förklara resultaten. Ger vägledning om vilken information om t.ex. tidigare utveckling, drivkrafter, andra program och styrmedel, utveckling inom angränsande områden etc. som man behöver ta reda på för att kunna bilda sig en uppfattning om effekt-frågan: om insatsen haft någon inverkan på resultaten) bedömningskriterier (kriterier för att bedöma genomförande, presta-tioner och utfall. Bedömningsgrunder för genomförandet kan t.ex. vara rättssäkerhet, deltagande, snabbhet, ”gott arbetsklimat”. Mål, delmål etc. kan vara ett sätt att bedöma utfall, kostnaderna för att nå dit man nått, brukarnas bedömning, jämförelse med liknande ”pro-gram”. Ger vägledning om vilken information man behöver samla in om t.ex. handläggningsrutiner för styrmedlet, intressenternas upp-fattning, handläggningstid, kostnader för genomförandet, kostnader hos intressenter etc.).

Allt detta behöver inte finnas med i varje programteori eller beskrivningsmodell, och inte i varje utvärdering heller. Och även om varje punkt berörs, kommer tyngdpunkten att ligga olika beroende på vad man utvärderar och i vilket syfte. Det kan t.ex. finnas skäl att koncentrera sig på resultaten och bedömningen av dem, utan att man bryr sig om processen mellan insats och resultat (Når vi återvinnings-målen? Till vilka kostnader?). Kanske är man mest intresserad av att ta reda på framgångsfaktorer och hinder i en genomförandeprocess (var finns knutarna i fråga om strandskyddet?). Kanske bedöms det viktigast att ta reda på om en insats verk-ligen har effekt (har skatten lett till att användningen av naturgrus minskat? Finns det fler förklaringar och hur stor betydelse har de haft?). Kundernas/brukarnas synpunkter kan också stå i centrum, och då kanske man avstår från att fördjupa sig i annat än det (hur bedömer hushållen återvinningsstationerna i kommunen? Hur påverkar det deras benägenhet att sortera avfallet?)

KARTSKALA – FÖRKLARINGSNIVÅ Liksom för en karta kan skalan på modellen vara större eller mindre; den kan vara mer eller mindre detaljerad. Avgörande är att beskrivningen är begriplig och han-terlig, både när det gäller abstraktionsnivå och händelseförlopp.

Om det man ska utvärdera, eller utvärdera mot, ligger på en alltför övergripande nivå kan man inte på ett begripligt sätt beskriva det händelseförlopp som leder dit. Uttalandet: ”Sverige ska vara ett föregångsland när det gäller hållbar utveckling”, är t.ex. alltför abstrakt för att utvärdera mot. Den närmare innebörden är oklar och



40

alltför mycket måste preciseras närmare. Ett otal parallella och interagerande hän-delsekedjor skulle behöva beskrivas och undersökas.

Det gäller också att bestämma sig för på vilken nivå man behöver studera effekter-na av det program eller den insats man utvärderar. De sammanvägda effekterna på en övergripande nivå kan bestå av både mycket positiva och mycket negativa ef-fekter på en lägre nivå, och därmed vara alltför aggregerad för att vara användbar. Är det de sammanvägda effekterna som är det väsentliga, eller skulle starka negati-va effekter på den lägre nivån innebära att insatsen trots allt misslyckats? I det senare fallet måste datainsamlingen göras så detaljerad att dessa effekter kan analy-seras. Man måste välja ”förklaringsnivå”.

UNDERLAG TILL BESKRIVNINGSMODELLEN Den information vi behöver för att konstruera en beskrivningsmodell får hämtas från många olika håll: Vilken insatsen är framgår ofta av ett regeringsuppdrag eller ett uppslag till en utvärdering. Hur insatsen är tänkt att fungera, vilka som ska för-valta den, antaganden och förutsättningar, beskrivs mer eller mindre detaljerat i förarbetena till besluten eller lagstiftningen, dvs. i direktiv, utredningar och propo-sitioner. Lagar, förordningar, regleringsbrev, instruktioner etc. kan ge ytterligare information om hur man tänkt sig ”omvandlingsprocessen”. Verksamhetsplaner, beslutsunderlag, rapporter – det finns en rad källor att hämta information ur om avsikt och tänkt funktion hos utvärderingsobjektet. Vetenskapliga teorier om hur ekonomi, organisationer etc. fungerar kan också ge information om vad man kan vänta sig, liksom erfarenheter från andra, liknande områden.

Det finns i allmänhet också starka skäl att tala med folk som arbetar med eller inom det område som ska utvärderas. Det är oftast till fördel både för utvärderaren och den framtida användningen av utvärderingen att diskutera med intressenterna redan när man bildar sig en uppfattning om ”programmet”. Man kan då också få klart för sig om det råder olika uppfattning om hur en verksamhet eller en insats är tänkt att fungera. Det kan vara klokt att rikta beskrivningen främst mot sådana delar av verksamheten som det råder ovisshet eller meningsskiljaktigheter kring.

Eftersom beskrivningsmodellen är en förenkling av verkligheten kan det visa sig nödvändigt att revidera och komplettera den efter hand. Den är alltså inte en statisk produkt. Stämmer inte verkligheten med beskrivningen eller blir inte resultaten de

I utvärderingen av våtmarksmålet visade byggandet av skogsbilvägar en stark minskning, vilket såg mycket positivt ut. Vid en närmare ana-lys visade det sig dock att skälet till nedgången huvudsakligen var att det var ”färdigbyggt” söder om Dalälven. Nästan hela den noterade utbyggnaden var koncentrerad till delar av landet där vägnätet var glest eller inte utbyggt alls. Där pågick utbyggnad i nästan oförmins-kad takt. Det gav en annorlunda bild av de ”positiva” siffrorna.



41

väntade, kan det visserligen vara verkligheten som av något skäl gått åt ett annat håll än förutsett, men det kan också vara kartan som vilar på felaktiga antaganden.

Oavsett om man gör en smal och djup utvärdering eller väljer en bredare och mera översiktlig är det angeläget att man redovisar beskrivningsmodellen och de antaganden man gjort, grafiskt och/eller verbalt. Det underlättar förståelsen av analyser och bedöm-ningar för dem som ska ta del av och använda utvär-deringen. Det är också en fördel att själv kunna hålla reda på hur det nu var man tänkte…

Mer om beskrivningsmodeller finns att läsa i Stats-kontorets handledning. (Se litteraturförteckningen).

Bedömningskriterier – kännetecken Ordet kriterium betyder kännetecken, prövosten, indi-cium, bevis. I utvärderingssammanhang talar man om kriterier som man bedömer, mäter eller prövar utfall, prestationer eller processer

mot. Man kan så att säga bestämma sig för vilka kännetecknen är på en bra process, ett bra resultat, och så jämföra den process eller det resul-tat man studerar med dessa känne-tecken.

Utvärdering går ut på att värdera och bedöma. Men värderingarna får inte bestå av något fritt tyckande av utvärderaren. Den som utvärderar måste veta och kunna ange vilka värden som bedöms, vilka egen-skaper hos det som ska utvärderas man särskilt vill titta på, vad det är

som uppskattas, respektive inte gillas. Det måste alltså finnas kriterier att utvärdera mot – något som anger hur ”idealfallet” skulle se ut. Kännetecken på ett gott utfall, indicier på att en prestation är bra, bevis på att ett mål har nåtts. Valet av kriterier är betydelsefullt, eftersom det till stor del avgör hur en insats bedöms.

De bedömningskriterier man väljer ut kan finnas uttalade i målet eller syftet med den insats eller åtgärd man utvärderar. De kan anges i utvärderingsuppdraget. De kan finnas tillgängliga i form av bedömningsgrunder, normer, yrkeskodex, kvali-tetsbeskrivningar, allmänna värderingar i samhället som rättvisa och demokrati osv. Men det kan också bli nödvändigt att utvärderaren söker efter lämpliga kriteri-er genom att studera förarbeten till en insats, genom att diskutera med sakkunniga,

Ibland redovisas hela beskrivningsmodellen på en gång. I andra fall redovisar man huvud-dragen och tar sedan resten av modellen bit för bit i samband med att man beskriver resul-tat och diskuterar or-sakssamband. Ett exempel på det senare tillvägagångssättet är utvärderingen av skat-ten på naturgrus.(Se Rapport 5077)



42

eller genom att ta reda på vad kunder, brukare eller intressenter anser vara väsent-ligt.

I målbaserade utvärderingar är det målet man mäter emot. Målet anger det sakernas tillstånd som en insats eller åtgärd syftar till att nå. Ett kvantitativt mål är ofta ett bra kriterium från mätsynpunkt. Det går att bedöma om målet har nåtts, om man är halvvägs etc. Om målet ligger långt fram i tiden kan man behöva bestämma sig för hur långt på väg man bör ha nått vid tidpunkten för utvärderingen för att det ska bedömas som bra, acceptabelt eller dåligt. Man får sätta upp ett kriterium.

Om målet är uttryckt i kvalitativa termer kan det vara nödvändigt att ta reda på eller bestämma sig för vad som krävs för att det ska anses vara uppfyllt. Liksom i fall där det inte finns något mål angivet behöver man då sätta upp ett eller flera kriterier att utvärdera mot.

Arbetar man med bieffektsutvärderingar, kan man se förekomsten eller frånvaron av vissa bieffekter som positiva eller negativa kriterier. I målfria utvärderingar kan man ta reda på hur t.ex. kunder eller intressenter definierar en bra produkt, ett gynnsamt utfall eller liknande, och låta det vara ett kriterium att utvärdera mot. Man kan också formulera kriterier som säger att om si och så många procent av en grupp anser sig nöjda med det utfall eller den process man studerar, betraktar vi den som lyckad.

Processer kan bedömas efter vad de resulterar i eller värderas efter hur de inblan-dade upplever den. Om målet har nåtts till ungefär samma kostnader som motsva-rande processer på andra håll, om kunderna eller intressenterna är nöjda, om de beslut eller åtgärder som processerna utmynnar i fyller krav på snabbhet och rätts-säkerhet (varvid man måste ha kriterier för vad som är snabbt i de situationer det gäller och hur man definierar rättssäkerhet). Man kan av erfarenhet eller genom tidigare studier veta att vissa moment bör hanteras på ett visst sätt, t.ex. i en till-synsprocess. Då kan man använda förekomsten av dessa moment som kriterier. Värderar man efter hur de inblandade upplever processen kan kriterierna vara triv-sel, möjligheter att påverka, tillgång till relevant information etc.

De bedömningskriterier man utvärderar mot beror, som så mycket annat, på utvär-deringens syfte. Finns inte mål eller kriterier angivna, får man på något sätt skaffa fram dem. Man kan sätta upp kriterier utifrån egna eller andras erfarenheter, genom att diskutera med uppdragsgivaren, med intressenterna eller genom att söka i litte-raturen, allt efter uppdragets art och vilka som medverkar. Det viktiga är att man redogör för de kriterier man väljer att utvärdera mot och motiverar valet. Då vet den som tar del av utvärderingen vilka utgångspunkter man har för sina bedöm-ningar.



43

Det kan finnas kriterier som skulle kunna vara relevanta att ta upp i en bedömning, men som man av någon anledning lämnar därhän. Då kan det vara viktigt att ange vad man inte värderat mot, vilka kriterier man inte beaktat, och skälen till det.

Om man arbetar med många kriterier kan det vara svårt att komma till något enty-digt resultat av utvärderingen. Hur ska man väga olika värden mot varandra? På sådana problem kan det finnas olika lösningar. En kan vara att redovisa sina be-dömningar mot varje kriterium för sig och låta uppdragsgivaren ta ställning. En annan kan vara att göra några kriterier till nödvändiga (t.ex. krav på demokrati, att budgeten ska hållas eller att en viss typ av sakkunskap alltid ska anlitas) och andra till önskvärda. Också en sådan rangordning av kriterier ska redovisas.

Se också avsnitten om utvärderingsmodeller (sid. 28 ff.) och Att bedöma resultat på sid. 47.

Ut i verkligheten (uppföljning, analys, bedömning) Sedan gäller det att beskriva verkligheten – nuläget och kanske också utvecklingen från insatsens början fram till nuläget för de verksamheter, prestationer, resultat etc. som man med ledning av beskrivningsmodellen bestämt sig för att undersöka. Gäller utvärderingen en process eller en rutin är det den som ska beskrivas. Data i vidaste bemärkelse ska samlas in. En hel del både hård- och mjukdata kan man få redan när man samlar information för att göra beskrivningsmodellen. Vedung an-ger fem metoder för datainsamling. Var och en kan sedan i sin tur utformas på många olika sätt.

Direkt observation. Utvärderarna besöker platsen för den verksam-het som ska utvärderas och iakttar enligt någon systematik Deltagande observation. Man deltar själv i den verksamhet som ska utvärderas.Intervjuer med berörda (behövs nästan alltid i något avseende). Enkäter är användbara om man behöver få data från många. De kan gå ut på att samla in ”hårddata” som sifferuppgifter av olika slag, men kan också nyttjas för att ta reda på människors inställning och agerande. Resultatet kan redovisas kvantitativt och/eller kvalitativt. Textanalys, dvs. granskning av bevarade skriftliga dokument. Man skulle t.ex. kunna granska ett antal beslut i strandskyddsärenden som ett led i utvärderingen av strandskyddet för att få en uppfattning om hur lagstiftningens intentioner följs. Genom att studera pressde-batten om strandskydd skulle man kunna få ytterligare belysning av vad som kan påverka besluten.

STATISTIK Ett sätt att samla in data som bör ligga nära till hands för oss är att ta för sig ur den gigantiska löpande uppföljning som bl.a. SOS, Sveriges Officiella Statistik, inne-bär. Därutöver finns ytterligare åtskilligt material i form av andra typer av uppfölj-ning som vi och andra myndigheter och organisationer ägnar oss åt. Årsredovis-



44

ningar, miljöredovisningar och andra uppföljningsrapporter kan vara goda källor till både kvantitativ och kvalitativ information. Miljöövervakningen, vår internatio-nella rapportering, motsvarigheter på andra områden – med fantasi och envisa frå-gor till omgivningen kan man få tag i mycket av det som man kanske inledningsvis trodde man skulle behöva samla in från grunden. Givetvis måste man ibland också samla in och ställa samman data för ett visst ändamål – t.ex. genom enkäter.

Behöver man komplettera serier av befintliga data är det en fördel om man samlar in informationen på samma sätt. Det är också viktigt att noga beskriva hur man samlar in nya data så att det blir möjligt att längre fram göra motsvarande uppfölj-ningar.

VERBAL INFORMATION Även om mycket kan belysas med hjälp av siffror krävs mestadels också kvalitati-va data. Några exempel är information om hur rutiner och processer ser ut, hur lagregler tolkas, hur människor uppfattar information och andra styrmedel, vilka värderingar som styr aktörers agerande i olika sammanhang, hur de upplevt ett visst händelseförlopp, varför de gjort si och inte så. Här kan samtliga av de metoder Vedung nämner komma till användning, framför allt kanske intervjuer, enkäter och textanalys.

ORD KAN BLI SIFFROR I valet mellan kvalitativ och kvantitativ information finns det många som fäster större tilltro till mått och siffror än till uttalanden. Men för att förklara de resultat man avläser i sifferform behöver man ofta komplettera med bedömningar, uttalan-den och tolkningar från dem som utvärderas eller på annat sätt berörs. Egentligen går det ingen strikt skiljelinje mellan information i siffror och i ord. Man kan om-vandla berättelser, omdömen och tyckanden till siffror. Kan man precisera kvalita-tiva frågor så att de kan besvaras genom förutbestämda svarsalternativ av tillräck-ligt många, går det att presentera svaren kvantitativt. (X procent av en tillfrågad population tänker på miljön när de väljer tvättmedel, Y kommuner vill lätta på strandskyddet, etc.) Genom djupintervjuer med ett fåtal insatta personer kan man i andra sammanhang få ett betydligt bättre grepp om ett problem än en stor enkät kan ge. När det gäller att klarlägga orsakssamband och hitta bieffekter är intervjuer oslagbara. En förstudie kan vara en väg att klara ut bästa sättet att få tag på den information man behöver.

Några reflexioner om enkät- och intervjumetoder finns i bilaga 1 sid. 53 ff.

Dags för halvhalt – kolla faktadelen Om utvärderingen ska bli använd är det viktigt att beskrivningsmodell och verklig-hetsbeskrivning uppfattas som så korrekta som möjligt av de berörda. Brister i det avseendet leder till att bedömningar och förslag lättare avfärdas, i synnerhet om de upplevs som negativa för någon berörd. Det har visat sig att de som utvärderas kan



45

vara mycket känsliga för fel i faktabeskrivningen, medan de har lättare att accepte-ra analysen. En god faktasammanställning rycker undan den inte helt ovanliga kritiken att ”utvärderaren egentligen inte förstår sig på det område som han eller hon utvärderar”.

Stämmer verkligheten med kartan? Analys och bedömning Beskrivningen av den tänkta händelseut-vecklingen (beskrivningsmodellen) och verkligheten (faktisk utveckling och nuläge) utgör enligt Vedung uppföljningsdelen av utvärderingen. Sedan tar den egentliga ut-värderingen vid – analysen och bedömning-en. Beroende på hur utvärderingen har lagts upp och vilka bedömningskriterier man valt är det dags att svara på frågor om målen har nåtts eller om man är på rätt väg, om de väntade effekterna och bieffekterna har uppstått och om och i vilken utsträckning de utvärderade insatserna eller programmen har bidragit till effekterna. Beror andra effekter som vi hittat på insatsen? Hur samverkar effekter och positiva och negativa bieffekter till resultatet – är ”slutsumman” acceptabel? Har den utvärderade processen fungerat som det var tänkt, har den fungerat väl? Bara för att ge några exempel på utvärderingsfrågor.

Det är sällan tillräckligt att enbart konstatera att det väntade resultaten uppstått eller uteblivit och att insatsen då är lyckad respektive misslyckad. Det kan vara sanning-en, men behöver inte vara hela sanningen. I samhället finns det så mycket annat som påverkar på vägen från insats till resultat.

Ett misslyckat resultat, en utebliven eller ”för svag” effekt kan bero på att teorierna bakom insatsen inte stämmer, insatsen kan bygga på felaktiga förutsättningar, vik-tiga omvärldsfaktorer kan ha förbisetts. Uteblivna effekter kan också bero på att genomförandet av insatsen inte fungerat som det var tänkt. Det händer också att de önskade effekterna uppstår trots en feltänkt insats eller otillräckligt genomförande. Därför kan det vara relevant att undersöka också ett lyckat utfall närmare.

Det är klokt att dela in arbetet i en faktadel och en analys/bedömnings-del. Faktadelen kommuniceras ut till de berörda/de som är föremål för utvärdering, och de får möjlighet att justera och komplettera.



46

Att söka efter effektsamband De klassiska naturvetenskapliga metoderna för att fastställa effekter – experiment med slumpmässiga eller matchade kontroller – är ytterst sällan användbara i sam-hällsvetenskapliga utvärderingar. Man kan försöka sig på att skapa experimentlik-nande situationer genom att välja så likartade grupper, kommuner, organisationer etc. som möjligt och utse några till försöksgrupper och andra till kontrollgrupper. Det kräver dels att man beslutar om utvärdering i förväg, dels att det är politiskt och socialt acceptabelt att t.ex. införa en reform endast på något håll, och dels att försöks- och kontrollgrupper inte kommunicerar sinsemellan. I stort sett kan vi utesluta de här metoderna för samhällsvetenskapliga utvärderingar.

Det blir visserligen allt vanligare att man i samband med en reform eller förändring av något slag också bestämmer att och hur den ska utvärderas så småningom. Men standardsituationen för oss är än så länge att i efterhand gå in och titta på vad som hänt, leta data och försöka belägga orsakssamband, konstatera effekter. Det finns några olika vägar att gå. Vedung kallar dem för generisk, statistisk, reflexiv kon-troll och skuggkontroll. Man kan också använda vad han kallar förklarande pro-cessutvärdering.

GENERISK KONTROLL innebär att man jämför utvecklingen i en mindre grupp/inom ett mindre område där man gjort en insats med den normala utvecklingen i en större grupp/ett större område där in-satsen inte gjorts (t.ex. jämför ”ekologiska” kommuner med ”vanli-ga” kommuner). Man behöver data om den ”normala” utvecklingen och om utvecklingen i ”insatsgruppen” både före och efter insatsen. STATISTISK KONTROLL bygger på att men delar upp dem som ska analyseras i olika grupper, helst efter just de faktorer som man tror har inverkat (mest) på mätresultaten. Samtidigt försöker man se till att vissa bakgrundsfaktorer som också skulle kunna påverka ut-fallet, hålls lika. (Områden kan t.ex. grupperas efter system för käll-sortering medan man håller bakgrundsfaktorer som bebyggelse (vil-lor eller flerfamiljshus) och inkomstnivåer så konstanta som det går).REFLEXIV KONTROLL innebär att man studerar ”undersöknings-gruppen” (som kan vara hela landet) före och efter insatsen. Anting-en som en enkel före-efter-kontroll (en mätning före och en efter) el-ler som en seriekontroll med flera mätningar både före och efter in-satsen. Vanligt är att man tittar på en tidsserie för det resultat man vill undersöka. Ser man en ”knyck på kurvan” i samband med eller strax efter insatsen kan man uppfatta den förändringen som en effekt av insatsen. En förutsättning är dock att det inte ungefär samtidigt inträffat förändringar i omvärldsfaktorer som också kan ha lett till en sådan utveckling. SKUGGKONTROLL innebär att människor med särskilda insikter får uppskatta insatsens effekter. De kan svara utifrån ren ”finger-



47

toppskänsla” eller, om det finns före-efter-data som visar på skillna-der, försöka bedöma hur mycket av skillnaden som beror på insat-sen. De insiktsfulla bedömarna kan antingen vara särskilt sakkunni-ga inom det aktuella området, administratörer som dagligdags hante-rar de berörda frågorna eller ”adressaterna” de som ”drabbas” av in-satsen och dess effekter, positivt eller negativt. KONTRAFAKTISK UTVÄRDERING Om man t.ex. arbetar med reflexiv kontroll eller skuggkontroll och vet att också andra faktorer än insatsen kan ha påverkat utvecklingen eller man ser att insatsen kan ha förstärkts eller motverkats av den pågående utvecklingen inom området, kan man anlägga ett s.k. kontrafaktiskt perspektiv. Det innebär att man försöker klara ut hur utvecklingen skulle ha bli-vit om insatsen inte gjorts. (”business as usual”). Ett sätt att göra det är genom trendframskrivningar, där man utgår från utvecklingen före insatsen. Skillnaden mellan trenden och den faktiska utveck-lingen ger indikationer på effekten av insatsen. (En tillämpning av trendframskrivning med diskussion finns i rapport 5077, Naturgrus-skatten).FÖRKLARANDE PROCESSUTVÄRDERING har ett annorlunda och vidare perspektiv. Här söker man inte bara efter positiva eller negativa samband mellan insatsen och resultaten. Man vill också förklara varför insatsen bidragit eller inte bidragit till de avsedda re-sultaten. Det kräver att man granskar hela förloppet mellan insats och resultat. En kortfattad karakteristik av angreppssättet är att man kan behöva titta på faktorer som den historiska bakgrunden till in-satsen och den politik den är ett led i, hur insatsen faktiskt utformats och teorin bakom, hur insatsen har genomförts, andra insatser och andra myndigheters agerande, intressenternas och massmedias in-ställning osv. En förklarande processutvärdering bygger huvudsak-ligen på kvalitativa data. Djupintervjuer och textanalys hör till in-samlingsmetoderna.

Att bedöma resultat Att analysera orsakssamband är en del i att bedöma resultaten av ett program eller en insats. Beroende på utvärderingsmodell gäller det sedan också att bedöma utfal-let eller dess effekter Se sid. 28 ff. om utvärderingsmodeller, och sid. 41 f. om kriterier – kännetecken.

Vid målbaserade utvärderingsmodeller bedöms i vilken utsträckning målen har nåtts. Det kan också finnas skäl att redovisa och bedöma andra effekter, både såda-na som förutsetts i beskrivningsmodellen och sådana som upptäcks under utvärde-ringens gång. Effekterna kan ställas i relation till kostnader, man kan behöva disku-tera kring en avvägning mellan avsedda effekter och konstaterade bieffekter – blir slutresultatet positivt eller negativt?



48

Har man arbetat efter en målfri utvärderingsmodell bedömer man mot de kriterier man satt upp och redovisat. Bedömningen behöver inte mynna ut i ”bra” eller ”då-ligt”, utan kan göras resonemangsvis. Här kan man också få svar via brukarutvär-dering eller via intressenternas bedömning i en intressentmodell.

Processer kan bedömas med hjälp av synpunkter från dem som arbetar eller annars befinner sig i processen. Man kan jämföra produktivitet eller effektivitet med lik-nande processer eller organisationer, med motsvarande uppgifter före insatsen. Man kan verbalt lyfta fram hinder och framgångsfaktorer, svagheter och styrkor. Hur man gör hänger på syfte och vad man vill veta. Man kan redovisa resultat med avseende på bedömningsgrunder som enligt ”god sed” gäller för en viss verksam-het eller som finns angivna i kvalitetssäkringssystem o. dyl.

Slutsatser och förslag En utvärdering bör utmynna i slutsatser och förslag. Det finns också utvärderingar som resulterar i bedömningar och värderingar som beställaren sedan får hantera vidare. Hur långt man går och hur slutsatser och förslag förs fram beror på uppdra-get och syftet med utvärderingen. En utvärdering med summativ tyngdpunkt kan-ske mynnar ut i förslag till förändringar på vissa punkter, i rekommendationen att välja en annan typ av insats eller slutsatsen att det hela fungerar bra och bör fortsät-ta som hittills. En formativt inriktad utvärdering lyfter snarare fram starka och svaga sidor och föreslår vad som kan göras. Den kan också stanna vid redovisning-en av dessa fynd för att sedan tillsammans med intressenterna komma fram till vad som bör göras. För att bara nämna några möjliga utfall. Med hänsyn till de krav som ställs på oss i samband med såväl regeringsuppdrag som initiativärenden bör vi i allmänhet utgå från att det är den inledande satsen som gäller – alltså att vi bör komma med förslag.



49

Låt världen veta! Hur för man ut resultaten? Syftet – alltid detta syfte Inte oväntat är det syftet, den tänkta användningen, som avgör. Vem ska använda resultaten och hur? Vem har beställt utvärderingen? Man kan också behöva fundera över hur man bäst presenterar slutsatser och förslag om de kan väntas stöta på mot-stånd.

En tryckt rapport är standardbeteendet, men kanske inte alltid det bästa. Givetvis måste utvärderingen dokumenteras, vilket kräver en rapport i någon form. Om den huvudsakligen utformas för trycket eller för webben kan vara en fråga om hur länge den bedöms vara aktuell, hur många den riktar sig till, vår informationspolicy i största allmänhet.

Hur utvärderingen och dess resultat sedan ska föras ut är också något att fundera över – ett stillsamt utskick till de närmast berörda för diskussion och åtgärder eller en påkostad rapport med pukor och trumpeter?



50

Man kan välja att ge regering och andra intressenter en mera detaljerad version med noggrann redogörelse för modellbeskrivning, metoder för datainsamling etc. och, om slutsatser och förslag är av mera allmänt intresse, ge ut en mer lättillgäng-lig version för allmän spridning.

Ett sätt är att presentera utvärderingen för intressenterna i enkel form, träffas på ett eller flera seminarier, diskutera vad slutsatser och förslag kan leda till, vad intres-senterna är beredda att göra med ledning av utvärderingen och sedan publicera utvärdering och handlingsplaner tillsammans. Om utvärderingsenheten eller kon-sult utvärderar kan ”stafettpinnen” överlämnas till närmast berörd enhet eller av-delning att gå vidare med på något sätt. Ett exempel på ett sådant förfaringssätt är utvärderingen av arbetet mot våtmarksmålet, som gjorts av utvärderingsenheten. Den har sedan ”lämnats över” till vattenmiljöenheten, som i sin tur arrangerat ett seminarium kring utvärderingen med berörda sektorsmyndigheter, länsstyrelser, kommuner m.fl. inbjudna.

Man kan skicka ut rapporten till de berörda med kommenterande brev om vad de särskilt bör ta del av.

Och så vidare. Endast fantasin, pengarna och syftet (!) sätter gränser.

Att utvärdera utvärderingen – metautvärdering Hur ”bra” är våra utvärderingar? Då och då kan det vara skäl att utvärdera sina utvärderingar – kanske framför allt ta reda på om de har använts och i så fall hur och varför. Har de inte använts finns det starka skäl att ta reda på varför. Ett första steg mot en sådan effekt- eller resultatut-värdering kan vara att under ett antal år följa upp vad som händer med utvärdering-arna. Hur många exemplar har gått åt, hur många har tittat på webben, hur många har hämtat hem den, är några enkla resultat. Intressantare är att försöka ta reda på vilka avtryck utvärderingen satt i ändrade styrmedel, ändrad tillämpning, ändrade rutiner, informationssatsningar, tidningsartiklar etc. En sådan årlig uppföljning kan också ge värdefulla tillskott till årsredovisningen.

Samtidigt kan den ge impulser till att ta reda på varför man får de resultat man får, t.ex. genom man intervjuar den vanligaste beställaren, regeringen, och diskuterar med intressenter (länsstyrelser, kommuner, branschorgan etc.) som vi har sett som potentiella användare av utvärderingarna. Har de använt dem eller inte, varför och hur? Hur tillgängliga och relevanta anser de att utvärderingarna är etc.

Sådana metautvärderingar kan göras då och då för flera utvärderingar tillsammans.

Hur arbetar vi med utvärderingar? Bland önskemålen om innehållet i utvärderingshandledningen fanns också tips om en enkel utvärdering av utvärderingsprocessen efter varje utvärdering. Hur medar-



51

betarna ser på processen, vad som varit bra och mindre bra, om de känt sig delakti-ga, om deras synpunkter fått gehör etc. Sådana frågor kan t.ex. behandlas diskus-sionsvis i utvärderingsgruppen direkt eller sedan man använt dem i ett frågeformu-lär och ställt samman svaren. Några råd om tillvägagångssätt och tips om utvärde-ringsfrågor finns i bilaga 2.



52

Bilaga 1 Att samla data genom enkäter, intervjuer och läsning.Några inledande råd I våra utvärderingar behöver vi ofta samla in kvalitativa data, t.ex. beskrivningar av olika förhållanden, bedömningar, kunskaper. Det kan också gälla att samla in kvan-titativa data, som vi inte direkt kan hitta i befintlig statistik. Enkäter och intervjuer blir därför ofta använda verktyg. Att utforma enkäter och genomföra intervjuer är en konst som det tar tid att tillägna sig. Inför mera omfattande företag i den genren är det därför klokt att diskutera med vana utvärderare eller läsa någon handbok. En kort och praktisk orientering om intervjuer och enkäter får man i ”Fråga rätt” av Jan-Axel Kylén (finns på biblioteket)3. Som en kort vägledning om vad man behö-ver tänka på följer här några allmänna råd och synpunkter. De bygger dels på läst material, dels på egna mer eller mindre surt förvärvade erfarenheter inom utvärde-ringsenheten.

Fråga själv eller anlita konsult? Det är ofta länsstyrelser, kommuner, sektorsmyndigheter eller branscher och före-tag som vi behöver ställa frågor till. Så länge det rör sig om relativt begränsade grupper kan vi i allmänhet sköta enkäterna och intervjuerna själva. Gäller det större undersökningar, t.ex. där vi vill ta reda på attityder eller kunskaper hos ”svenskar-na”, hos ”folk i storstäder”, hos någon viss yrkesgrupp eller hos kommunerna är det lämpligare att ta hjälp av någon konsult som är bra på urvalsmetoder och statis-tisk bearbetning, och som har tabelltekniker, telefonintervjuare etc. att tillgå. SCB hör till dem som kan bistå med att både samla in och bearbeta data. Ibland finns det också möjligheter att följa med i s.k. ”omnibussar”, dvs. organisationers eller opi-nionsundersökares enkätrundor.

Våra vanligaste ”intervjuoffer” – var rädd om dem! Länsstyrelserna har, liksom kommunerna, mycket information att ge både oss och andra myndigheter, och blir ofta tillfrågade. Med tanke på arbetsbelastningen i övrigt är det inte konstigt om det finns en viss trötthet inför enkäter och annan datainsamling hos dem. Det är viktigt att man tänker noga efter om man kan få tag på data på annat sätt, om det kanske har gjorts liknande undersökningar nyligen, om man kan samordna med någon annan frågerunda som planeras inom verket, om det går att svara med rimlig arbetsinsats på de frågor man vill ställa. Det har hänt att nästan samma frågor ställs ungefär samtidigt från mer än ett håll i verket. Så-dant bör undvikas.

3 Se litteraturförteckning, sid. 68.



53

Vi har ännu inte något system för att samordna frågandet, men med ökad satsning på utvärdering kan det bli aktuellt att åstadkomma någon form av enkel avstämning av planerade enkäter. Tills vidare ankommer det på varje enskild utvärderare att stämma av med andra enheter som skulle kunna ha motiv för att ställa liknande frågor.

Observera att man inte utan vidare får skicka ut enkäter eller liknande till närings-livet eller kommunerna. Där gäller särskilda regler. Huvudprincipen är att man först måste samråda med Näringslivets nämnd för regelgranskning respektive Sveriges Kommuner och Landsting. Möjligheter till undantag finns. Reglerna finns i Förordningen (1982:668) om statliga myndigheters inhämtande av uppgifter från näringsidkare och kommuner (se sid. 58). Reglerna gäller även om man uppdrar åt en konsult att genomföra undersökningen. I förordningen nämns inte de organisa-tioner vid namn som vi ska vända oss till. Där står bara att man ska ”samråda med organisation eller annan som kan anses företräda de näringsidkare och kommuner som ska lämna uppgifterna”. I ”Körschema m.m. för allmänna råd/föreskrifter” i Uppslagsboken på nätet finns fler organisationer som kan vara aktuella för samråd.

Rör det sig om ett mindre antal företag som man vill skicka frågor till eller inter-vjua kan man dock själv ta kontakt med var och en och komma överens.

Efter dessa varningens ord följer en genomgång av olika typer av enkäter och in-tervjuer. Till sist några rader om att läsa sig till information.

EnkäterFrågor per brev eller e-post Till fördelarna med sådana enkäter hör att de är relativt billiga, man undviker på-verkan från en intervjuare och det kan vara lättare att få information om känsliga frågor. Det senare gäller främst när de intervjuade är anonyma, och det är kanske inte så vanligt när vi samlar in data.

Till nackdelarna hör att bortfallsfrekvensen kan bli ganska hög och att metoden främst lämpar sig för ganska enkla och okomplicerade frågor. Också nackdelarna begränsas förmodligen en del när vi vänder oss till myndigheter, t.ex. länsstyrelser. Påminnelser behövs, men både tradition och intresse medverkar till att många sva-rar. Det gäller i viss mån också kommunerna, även om fler påminnelser kan behö-vas där. Eftersom de vi vänder oss till också kan antas vara ganska insatta i de sakförhållanden vi frågar om bör det finnas utrymme för litet ”svårare” frågor. Naturvårdsverket har tillgång till ett verktyg för att göra webbaserade enkäter 4.

4 Verktyget finns när denna text skrivs hos Göran Hansson på R-staben



54

Gruppenkäter I samband med möten eller seminarier kan det finnas möjlighet att göra gruppenkä-ter, dvs. deltagarna svarar på enkäten under eller direkt efter mötet.

Till fördelarna hör att flertalet svarar och att man får in svaren genast. Man har också goda möjligheter att motivera deltagarna och ge anvisningar om besvarandet, t.ex. förklara frågor om det uppstår oklarheter.

Till nackdelarna hör att man bara kan fråga om sådant som deltagarna kan förutsät-tas ha i huvudet och att deltagarna kan påverkas av varandra eller av den situation de befinner sig i.

Att fråga är en konst Frågorna i en enkät kan utformas på en rad olika sätt. Vilket eller vilka man väljer beror på frågornas art och hur man tänker behandla den information man får in.

Om man ställer öppna frågor anger man inga svarsalternativ, utan ber den tillfråga-de svara med egna ord. Finns det obegränsat med svarsutrymme, kan svaren bli hur långa som helst, vilket kan göra bearbetningen besvärlig med mycket att sålla bort. Det kan naturligtvis också ge mycket information. De öppna frågorna kan precise-ras genom att man anger vilka aspekter man vill att den svarande i första hand ska ta upp eller på något annat sätt snävar in frågan. Ett begränsat utrymme på svars-blanketten ger också en vink om vilket omfång på svaret man har tänkt sig. För att det viktiga då ska komma med, kan man behöva några ledord eller andra anvis-ningar om vad svaret bör omfatta. Fördelar med det här sättet att fråga är att man inte påverkar den svarande genom frågornas formulering eller givna svarsalternativ och att man kan få oförutsedd och värdefull information. Till nackdelarna hör en ganska omständlig bearbetning, och att det man väntade att finna i svaret kanske ändå inte kommit med.

Ett annat sätt att fråga är med fasta svarsalternativ. De svarande kan t.ex. sätta kryss i en eller flera rutor, stryka under eller ringa in ”rätt” svar. Det kräver att man har klart för sig vad som är väsentligt att få veta och att man formulerar frågorna och svarsalternativen så att de inte styr i någon viss riktning. De alternativ som ges påverkar den svarande på olika sätt. Det kan vara ett ganska omfattande arbete att hitta svarsalternativen. Man kan diskutera fram dem i en grupp, intervjua några ur målgruppen, ange de möjliga lösningar man tänker sig på ett problem etc. – allt efter vad enkäten gäller. En fördel med fasta svarsalternativ är att bearbetningen blir lättare, en nackdel att alternativen kan låsa de svarandes tankar.

En tredje variant är att använda skalor där de svarande kan markera i vilken grad de instämmer eller inte instämmer, eller var deras bedömning av något hamnar mellan två motsatser som bra, dålig, intressant, ointressant etc. (en vanlig form för kursut-värderingar och liknande).



55

Hur man än väljer att utforma sin enkät, kräver frågorna noggrann eftertanke om man ska få ut det man vill av enkäten. Det är mycket att tänka på, och det kan vara klokt att ta hjälp av någon som är van att formulera frågor. Framför allt när det handlar om fasta svarsalternativ eller skalor måste man pröva frågorna på några tilltänkta svarare eller andra personer. Man kan behöva arbeta fram flera versioner, innan man hittar rätt. Författaren till boken Fråga rätt, påpekar att intervjuer är lätta att planera men svåra att bearbeta, medan enkäter kräver mycket tid att göra men är lättare att bearbeta. Man kan anta att enkäter med öppna frågor ligger närmre inter-vjuerna.

IntervjuerGränsen mellan intervjuer och enkäter kan vara hårfin. I princip är enkäter skriftli-ga, medan intervjuer är muntliga. En intervju, kanske per telefon, som strikt följer en frågelista och där man bara noterar svaren utan kommentarer eller diskussion skiljer sig dock inte mycket från en enkät. Det är ett säkrare, men dyrare, sätt att få god svarsfrekvens, och det finns vissa möjligheter att förklara och förtydliga frågor och svar, men också större risker för påverkan från intervjuaren.

Frågor i fri eller bunden form Intervjuer kan utformas på en rad olika sätt alltifrån formulärbundna till helt fria samtal kring de frågor eller inom det ämnesområde som intervjuaren vill samla data om. Man kan samtala med en eller flera personer samtidigt, och man kan vara en eller flera intervjuare. Hur intervjun utformas beror på syftet med den, på hur mycket intervjuaren redan känner till, vilken typ av data man är ute efter och, som vanligt, resurser.

Med någon eller några relativt fria intervjuer kan man t.ex. orientera sig inom det område man tänker utvärdera, få klart för sig vilka som är kärnfrågorna, vad man kan behöva titta särskilt på, och vilka data man behöver samla in. Man kan få nya infallsvinklar och komma på saker man förbisett, tyngdpunkter kan förändras. Des-sa intervjuer kan också ge underlag för att formulera mera precisa frågor för enkä-ter eller intervjuer till flera. Diskussionsvisa, fria intervjuer kan därför vara den form man väljer i en förstudie.

Fördelarna med sådana fria intervjuer är att man kan få reda på en hel del som man inte tänkt på i förväg, sammanhang eller attityder som visar sig vara betydelsefulla utan att man kunnat läsa sig till dem. Nackdelarna är att de är tidskrävande och att man som intervjuare lätt rycks med och kan få svårt att hålla reda på om man får svar på de frågor man ursprungligen hade. Det går dock att bemästra. Även om intervjun förs utan någon särskild frågelista eller i någon ordning som intervjuaren har gjort upp, kan man ha en lista för sig själv. I den prickar man efter hand av de frågor som behandlas och ställer de frågor som annars inte kommer upp. Man får också se upp med hur man viktar och bedömer olika inlägg. Vältalighet kan vara förledande.



56

Vanligt är annars att man har en frågelista eller en beskrivning av de områden man vill diskutera. Listan kan man lägga på bordet under intervjun, så att både intervju-ade och intervjuare är medvetna om vad man bör prata om. Sedan ser man till att samtliga frågor blir behandlade.

Det kan också röra sig om ganska fasta, förutbestämda frågor som man betar av efter hand och försöker besvara med relativt bestämda formuleringar, med kryss i rutor eller på skalor av olika slag. Här närmar man sig alltså enkäten.

Intervjuer måste förberedas Det är viktigt att förbereda intervjuerna genom samtal eller brev, där man anger syftet med intervjun och den utvärdering som den är en del i, och också de områ-den man vill ha information om. Vill man ha ut kvantitativa data eller andra ”hård-data” bör man ställa sådana frågor i förväg, eller i varje fall be den eller de svaran-de att ta med sig relevant material. Man kan inte vänta sig att folk ska ha siffror i huvudet eller direkt kunna redovisa hur en process fungerar. Det brukar också vara svårare att få material i efterskott. Sådana åtaganden glöms lätt, och det blir hur som helst mer tidsödande. Det hindrar förstås inte att man kommer överens om ytterligare material om det visar sig intressant under intervjuns gång.

Att anteckna är viktigt Att föra anteckningar under intervjun är A och O. De kan hjälpa till redan under intervjun för kontroll av att man gått igenom det man planerat. De är ett ovärderligt stöd för minnet. Det behöver inte gå så lång tid innan man har glömt mycket av det som sades, eller främst kommer ihåg sina egna tolkningar av det. Gör man flera intervjuer under kort tid är det lätt att blanda ihop. Antecknandet kan också med-verka till att den intervjuade anstränger sig att svara – man visar att det han eller hon säger är intressant. Det kan naturligtvis också innebära att vederbörande håller inne med synpunkter eller information. Om man klart har redovisat hur informatio-nen ska användas och att man inte nämner namn i rapporteringen, är den risken inte så stor.

Man kan använda bandspelare vid intervjuerna, om den intervjuade går med på det. Då kan man koncentrera sig på samtalet och frågorna, samtidigt som man får full dokumentation av vad som sägs. Nackdelen är att bearbetningen av intervjumateri-alet blir mycket tidsödande.

Två intervjuare hör mer än en Det är en stor fördel att vara två när man intervjuar. Då kan en ha huvudansvaret för anteckningarna, och man kan hjälpas åt att se till att man får svar på alla frågor. Har intervjuarna olika kompetensområden, eller har läst in sig på olika frågor, kan de komplettera varandra genom att de förstår och uppfattar olika saker eller kan fylla i och precisera frågor när det behövs. Det krävs dock att man är väl ”sam-



57

körd” och förberedd. Annars kan det vara att föredra att en frågar, medan den andre antecknar.

Om man vill bespara sig en mängd arbete skriver man ut anteckningarna snarast efter intervjun, antingen rakt av eller i sammandrag eller efter något särskilt möns-ter så att de blir lätta att jämföra med anteckningarna från andra intervjuer om samma sak.

Förankra intervjuresultatet – det spar arbete och invändningar Därefter, vilket rekommenderas varmt, låter man dem man intervjuat läsa och kommentera anteckningarna. Man kan då få eventuella missuppfattningar korrige-rade, man påminner om löften om ytterligare material, man kan få kompletterande fakta eller synpunkter, och, vilket är en stor fördel, man garderar sig mot anmärk-ningar på faktadelen av sin utvärdering framöver.

Presentation och småprat är en bra början Särskilt om det handlar om en längre intervju, kanske med personer man aldrig träffat förut, kan det vara bra att inte gå huvudstupa in på frågorna, utan inleda med litet allmänt småprat. Det är också viktigt att man som intervjuare presenterar sig och sitt ärende, vad man ska använda intervjuerna till, hur materialet kommer att behandlas, och att de intervjuade kommer att få ta del av det man kommit fram till. Om man är flera som intervjuar och som svarar kan en inledande presentationsrun-da vara till god hjälp. Med kännedom om varandras fackområden och kunskaps-bakgrund är det lättare att både bedöma frågor och svar.

Även om man tänkt följa en ganska fast frågelista är det ofta bra att låta de inter-vjuade ”prata av sig” litet i början av intervjun. Det de har på hjärtat kommer de ändå att se till att säga, och det kan göra genomgången av frågelistan besvärligare om man gör stora utvikningar då. Här har man också möjlighet att få synpunkter som kanske inte annars skulle dyka upp.

Mat och kaffe gör folk pratsamma Det är en fördel om man kan lägga in en kaffe- eller lunchpaus i intervjun. Ofta kommer samtalet att delvis fortsätta att kretsa kring intervjuämnet, och det kan komma upp en hel del matnyttigt. Man kan visserligen inte sitta med antecknings-blocket i högsta hugg, men intressanta frågor kan sedan tas upp under den fortsatta intervjun om de behöver belysas eller preciseras ytterligare.

Att bearbeta enkäter och intervjuer Omfattande enkäter till många personer bör vi helst överlåta till konsulter att bear-beta. En upphandling av en enkät eller av telefonintervjuer bör omfatta också sta-tistisk bearbetning av resultatet. Läs gärna igenom boken Fråga Rätt före upphand-ling och diskussion med konsulten.



58

Anteckningar från ett mindre antal intervjuer (4–5 st.) behöver i allmänhet inte någon mera formell bearbetning. Man bildar sig ganska lätt en uppfattning om vad den ene och den andre tyckt i olika frågor, och man hittar snart i anteckningarna när man ska kolla vad som sagts.

Har man däremot intervjuat många kan man behöva skapa en struktur för bearbet-ningen, t.ex. en rad för varje fråga och en kolumn för varje intervjuad. I rutorna för man så in sammanfattningar av vad som sagts, ett centralt ord, ett omdöme om deras inställning eller vad det nu är man har varit ute efter. Har intervjuerna följt en frågelista, finns en del av strukturen redan. En öppen och förutsättningslös diskus-sion ger en mera tidsödande bearbetning, men också den är värd att göra. Det fort-satta arbetet underlättas av en struktur som gör att man lätt hittar samtliga svaran-des syn på en fråga.

LäsningUtvärdering innebär för det mesta mycket läsning. Det gäller att orientera sig inom det område man ska utvärdera, och det gäller att hitta data som redan finns. Man får plöja utredningar, propositioner, årsredovisningar, rapporter etc. i tryck eller på nätet. En del människor är systematiska från början. De har en fördel i det här arbe-tet. Vi andra blir det så småningom, när vi lärt av misstag och förtvivlat letande i ett material som efter hand blivit för stort att ha i huvudet.

Mycket av läsningen är kursivläsning: man skummar texter för att se om det står något om det ämne man håller på med, man söker statistik. Gör en litteraturlista och notera eventuell användbarhet. Det blir lättare att hitta tillbaks då.

När man läser för att verkligen ta del av det material man har hittat, för att teckna bakgrunder, beskriva processer, hitta förklaringar, ta reda på agerande, inställning-ar och attityder, kan man ha nytta av ett tillvägagångssätt som liknar det vid inter-vjubearbetning. Strukturera efter kärnfrågor, ämnesområden eller någon annan relevant indelning, och efter de aktörer eller liknande som man läser om. Anteckna ”fynd”, slutsatser och källa! (Publikation och sida). Det händer nästan alltid att man måste gå tillbaka och kontrollera, titta närmare på sammanhanget eller liknande. Att hitta i ett material som hunnit växa från första läsning till rapportskrivande är inte lätt om man inte har något stöd för minnet. Även om man bara för löpande anteckningar utan någon annan struktur än att text följer på text är man hjälpt av källhänvisningar.

Nyttiga böcker finns under rubriken ”Intervjuer och enkäter” i litteraturförteck-ningen.

SFS nr 1982:668 Förordning (1982:668) om statliga myndigheters inhämtande av uppgifter från näringsidkare och kommuner



59

1 §. Bestämmelserna i denna förordning skall iakttas av de statliga myndigheterna vid utformningen och utsändandet av blanketter som skall användas huvudsakligen av näringsidkare eller kommuner för att lämna uppgifter som myndigheterna begär. De gäller också då uppgifterna skall lämnas på annat medium än blankett. Be-stämmelserna gäller även när myndighet uppdrar åt ett annat organ, statligt eller privat, att genomföra en uppgiftsinsamling.

Vad som i denna förordning föreskrivs om statliga myndigheter avser inte myndig-heter under riksdagen och inte heller kommittéer och särskilda utredare enligt kommittéförordningen (1976:119).

2 §. De uppgifter som skall lämnas enligt en blankett skall vara utvalda och defini-erade så att uppgiftslämnandet begränsas till den information som behövs med hänsyn till ändamålet och så att uppgiftslämnandet underlättas så långt möjligt.

3 §. Innan myndigheten beslutar om ett nytt formulär till blankett eller om en icke obetydlig ändring i ett tidigare fastställt formulär, skall myndigheten samråda med organisation eller annan som kan anses företräda de näringsidkare och kommuner som skall lämna uppgifterna.

Om uppgifter skall inhämtas genom enkät till näringsidkare eller kommuner, skall samråd också äga rum i fråga om urvalet av uppgiftslämnare och tiden för enkätens genomförande.

Samråd får underlåtas om det är uppenbart obehövligt eller skulle stå i strid med uppgiftsinhämtandets syfte. Samråd får också underlåtas om tiden inte medger det.

4 §. Om myndigheten beslutar att inhämta uppgifter genom enkät till näringsidkare eller kommuner skall i beslutet anges

1) den bestämmelse, enligt vilken skyldighet att lämna uppgifterna förelig-ger,

2) vilka slag av uppgiftslämnare som enkäten avser, 3) vad uppgiftslämnaren har att iaktta när enkäten besvaras, 4) vad uppgifterna skall användas till, 5) om samråd har förekommit enligt 3 § och, om så är fallet, med vem sam-

rådet har ägt rum.

Uppgift om beslutets innehåll skall tillställas var och en som anmodas att lämna uppgifter. Om det inte föreligger någon skyldighet att lämna uppgifterna, skall detta tydligt anges i enkäten.

5 §. Fristen för besvarande av en enkät till näringsidkare eller kommuner skall vara minst tre veckor räknat från enkätens utsändande, om det inte finns särskilda skäl för någon annan tidsfrist eller annan tidsfrist är föreskriven i lag eller förordning.



60

6 §. Hos myndigheten skall finnas en förteckning över myndighetens planerade och beslutade enkäter till näringsidkare och kommuner.



61

Bilaga 2 Utvärdering av utvärderingsprocessen Vi kan utvärdera en utvärdering – precis som vi kan utvärdera alla andra former av verksamhet. När vi gör en sådan utvärdering – en metautvärdering – är antagligen huvudsyftet att lära av arbetet med den ursprungliga utvärderingen. Vad gick bra, vad gick mindre bra och varför? Hur såg processen ut?

Med betoning på lärande En metautvärdering skiljer sig varken principiellt, tekniskt eller metodiskt från någon annan utvärdering. Däremot kan det vara lämpligt att anslå ett medvetet och starkt uttalat lärperspektiv som även berör emotionella frågor. Valet av ansats på-verkar i sin tur utformning och metodval.

Med uppmärksamheten på lärande kan man urskilja ett par olika utforskningsom-råden. Vi kan t.ex. skilja mellan ett professionellt och ett emotionellt område. En sådan åtskillnad kan motiveras av att vi både presterar och relaterar i vårt dagliga arbete. Vi kan dessutom anlägga olika perspektiv; vad har organisationen som kollektiv lärt? (organisationsperspektivet), vad har jag som individ och medarbeta-re lärt? (jag-perspektivet) Uppdelningen tjänar som en intellektuell guide i våra diskussioner och vårt analysarbete. Vi renodlar för att skapa tydlighet och för att kunna dra slutsatser. Gränserna mellan de olika områdena/perspektiven är oskarpa och överlappningarna många. I verkligheten hänger allt samman.

Prestation och relationInom det professionella utforskningsområdet betraktar vi framgångsfaktorer och hinder med tonvikt på organisation och prestation. Var uppdraget/direktivet tyd-ligt? Var arbetsformen riktig för uppdraget och tydlig för var och en (exempelvis projektorganisationen om uppdraget utförts i den arbetsformen)? Var rollerna klart uttalade och mandat fördelade? Fungerade organisationen/strukturen så att den var ett stöd för arbetet och dessutom främjade lärande (inte bara resultatinriktad)? Var det lätt att bemanna uppdraget? Hur gick bemanningen till? Levererade vi det be-ställaren ville ha? Hur levererades slutprodukten? Vet vi vad som styrde arbetspro-cessen?

Det andra området – det emotionella – är mer inriktat på mänskliga och mellan-mänskliga förhållanden. Här står den enskilde deltagarens inställning, upplevelser och relationer till övriga gruppmedlemmar i centrum. Hur har vi haft det med oss själva och varandra? Vilka känslor födde arbetet och vilka konsekvenser fick de känslorna och våra relationer för arbetet? Det lika viktiga som svårfångade begrep-pet ”social kompetens” hör t.ex. hemma här.

Båda områdena är relevanta, även om erfarenheten visar att mycket av orsakerna till framgång eller misslyckande brukar stå att finna i det senare.



62

Gruppen och jag De olika perspektiven, organisationsperspektivet och jag-perspektivet kan man grovt skilja åt genom att i det förra fallet se på sådant som kollektivet gemensamt uppfattat och tagit till sig. Kanske kommer man till uppfattningen att fler omedvet-na faktorer än önskvärt har styrt arbetsprocessen. För att rätta till ett sådant förhål-lande fortsättningsvis kan det t.ex. behövas mer tydlighet i alla led och ett starkare mandat för den ansvarige uppdragstagaren. En tänkbar och provokativ följdfråga; är otydligheten ett medvetet eller omedvetet val och i så fall varför?

Av de slutsatser man drar för gruppens räkning har den enskilde som deltagande individ också mycket att lära för egen del. Hur kan jag bidra till större tydlighet och medvetenhet? (om problemet var sådant). Har jag kanske t.o.m. bidragit till otyd-ligheten för att…..? Etc. Då är vi i jag/individ-perspektivet.

Allt hänger ihop Man skulle kunna beskriva utforskningsområdenas och perspektivens förhållande till varandra i ett fyrfältsdiagram som detta.

Ofta hamnar tyngdpunkten i en (meta)utvärdering av en process i någon eller båda av rutorna med kryss i, men också de båda andra är av intresse – känslor betyder som sagt mycket för hur en grupp fungerar och presterar, och som individ kan man göra nyttiga upptäckter om sitt sätt att arbeta.

Oavsett område och perspektiv handlar metautvärderingen om reflektion och lärande, inte rättskipning: Det här har vi lärt oss, både i sak och som en följd av själva arbetet. Det här ska vi tänka på i nästa uppdrag/projekt. Det här ska vi und-vika. Detta behöver vi lära oss mer om.

Och oavsett hur vi delar upp vår analys, är det i sig en nyttig process att fundera över (meta)utvärderingens alla tänkbara strukturer och möjliga samband.

Mallar underlättar men begränsar Det är svårt, kanske till och med kontraproduktivt, att utgå från en fix och färdig mall för hur en (meta)utvärdering ska gå till. Ju mer man standardiserar desto säm-

Professionellt

Emotionellt

organisations-perspektiv

individ-perspektiv

X

X



63

re dynamik får man och – som en given följd – desto mindre kunskap. Varje upp-drag/projekt/grupp har sitt eget inre och unika liv. Kan vi utgå från den erfarenhet alla berörda har gjort, och göra alla berörda delaktiga, blir resultatet i allmänhet mycket lödigare. Vi skapar mer kunskap.

Det finns, som sagt, ett egenvärde i arbetet att skapa strukturer och att försöka för-stå samband. En standard eller en mall riskerar att leda till ett mer standardiserat förhållningssätt med lägre engagemang och sämre delaktighet som följd. Utvärde-ring med tonvikt på lärande är och ska vara en process.

Med det konstaterandet i bakhuvudet följer här några tankar, råd och tips för att underlätta en (meta)utvärdering.

Känslor är viktiga. Hanteras varsamt! Det förtjänar att upprepas: En utvärdering med de ansatser vi talar om handlar om reflektion och lärande, inte rättskipning, inte rätt eller fel.

Vi är i arbetslivet ovana att hantera emotionella frågor i strukturerad och öppen form, och behöver respektera eventuella svårigheter i sammanhanget. Trygghet är grundbulten för att emotionella processer alls ska fungera och varje grupp måste få välja sin trygga nivå att arbeta på. Att helt väja för svårigheterna vore ändå fel. Listorna på frågor som följer till sist ska alltså ses som en exempelsamling att välja ur.

Alla går vi omkring med våra respektive mentala kartor. De hjälper oss att oriente-ra i en komplex tillvaro. Kartorna talar om för oss hur saker är (våra realiteter) och hur saker borde vara (våra värderingar). Det knepiga är att olika människor har olika kartor. Konflikter uppstår när vi försöker pracka på varandra våra olika kart-bilder, våra egna sanningar. Ska vi orientera oss i Göteborg går det illa om vi har en Stockholmskarta - hur mycket vi än slåss för dess förträfflighet. Kartan är natur-ligtvis sann på sitt sätt, men giltigheten hänger ihop med sammanhanget. Vi behö-ver vara på samma plats och se samma sak.

Det skadar inte att bära med sig den insikt som kartmetaforen ger oss genom hela utvärderingsarbetet. På sätt och vis, och det är nog en central slutsats, vågar man påstå att metautvärderingens yttersta syfte är att skapa samsyn, göra omedvetet medvetet och begripligt. Göra ovetskap till gemensam vetskap om hur det gick/går till.

Varför? är en bra fråga Att ställa frågan - varför? - metodiskt ett antal gånger i följd är en generell teknik som kan ge ny kunskap. ”Det känns som om projektresultatet blivit hängande i luften.” Varför? ”Vi vet inte hur det kommer att användas.” Varför? ”Det har blivit så tyst omkring resultatet.” Varför? ”Det är nog en känslig fråga.” Varför? ”Man kan ana en konflikt mellan X och Y.” Varför? Och så vidare.



64

När man har borrat tillräckligt djupt kan man fråga sig: Har professionella eller emotionella faktorer styrt? Antagligen båda. Har resultatet påverkats av faktorer vi inte har sett tidigare? Vad lär vi oss av det för framtiden? Hur resultatet ska över-lämnas behöver kanske formellt stramas upp redan i direktivet samtidigt som vi i fortsättningen måste våga bli mer rättframma i vår dialog med beställaren – för att bara nämna något exempel på möjliga slutsatser.

Vad ville vi – och hur gick det? En annan användbar teknik för att lära sig att se och förstå verkliga och bakomlig-gande faktorer och krafter som styr är att ställa sig frågan: ”Vad skulle ha behövt hända för att det som vi ville skulle ske också hade blivit verklighet?”. Alltför ofta letar vi efter de borttappade nycklarna under ljuset från gatlyktan i stället för där ute i mörkret där vi antagligen tappade dem. Svaren kan bli överraskande. Vi är inte alltid medvetna om krafter som styr processer åt ena eller andra hållet, mot framgång eller misslyckande, krafter som ofta står att finna inom det emotionella området.

Struktur på frågor och slutsatser Att strukturera frågor och/eller slutsatser i relation till varandra är ofta ett effektivt sätt att göra komplexa system tydliga och förhoppningsvis mer begripliga. Några exempel bland många andra på intressanta relationer att studera kan vara t.ex. önskvärt – troligt, angeläget – ”hit nådde vi” samt professionellt – emotionellt. Frågor och svar/slutsatser kan placeras in i ett sådant diagram som finns sist i den här bilagan. Det är ibland mödan värt att tidigt fundera över hur man ställer och grupperar frågorna, t.ex. i en enkät, om man vill redovisa svar och slutsatser i en sådan typ av struktur.

”Körschema” för metautvärderingar Det finns, som vi har sett, åtskilliga metoder att genomföra en utvärdering. Här följer en metod som kan anpassas och användas i såväl mindre som större sam-manhang beroende på omständigheterna.

Ett av flera möjliga sätt att driva en metautvärdering som en dynamisk process är att be så många berörda som möjligt (internt och externt) att formulera ett givet antal enkätfrågor. Frågorna sorteras och grupperas. Ur den frågebanken ställer man sedan samman ett antal frågor till en enkel enkät. Kanske utses en per-son/arbetsgrupp att genomföra den fasen. Sedan görs enkätundersökningen och svaren analyseras. Varför inte av en ny person/arbetsgrupp?

Varje fråga rymmer i sig fröet till utveckling och svar i både ett professionellt och emotionellt perspektiv, varför man i en mera avancerad analys kan förbereda en sådan uppdelning som utgångspunkt för den kommande diskussionen. Bara att fundera ut hur den uppdelningen ser ut är som sagt lärorikt arbete.



65

Den preliminära analysen presenteras vid en workshop, ett enhetsmöte eller vid något annat lämpligt tillfälle som ger möjlighet till gemensamma tolkningar. Här kan alla berörda delta och vrida och vända på tankar och samband som kommit fram för att sedan dra slutsatser och ställa dem i relationer enligt principerna ovan.

Diskussionen är det viktigaste, men det är en fördel om man sedan reviderar analy-sen efter vad som kommer fram då, och dokumenterar resultaten. Det arbetet kan en tredje person/arbetsgrupp sköta. Dokumentationen är angelägen för att andra ska kunna ta del av erfarenheterna, även om insikterna för den berörda gruppen redan är befästa som en effekt av själva (meta)utvärderingsprocessen. Resan har varit målet men en resehandbok är inte fy skam för blivande resenärer.

I större sammanhang och med tanke på eventuella svårigheter att hantera känsliga jag-frågor är det säkert konstruktivt att fundera över gruppindelningar för att i nå-gon fas under diskussionen dela upp deltagarna i små samtalsgrupper. Kanske be-höver man också fundera över hur redovisningen av känsliga frågor/tankar bäst sker.

Exempel på frågor Här följer några exempel på frågor och påståenden som kan ställas i olika perspek-tiv. Frågorna punktas utan inbördes rangordning och ska endast ses som vägledan-de idéer. Formuleringarna får gärna vara annorlunda. Det viktiga är att försöka förstå sambanden och inte ställa frågor och tolka svar lösryckta ur sina samman-hang. Nästan varje fråga har, som tidigare understrukits, svar som kan hänföras till flera perspektiv. Allt hänger ihop.

ORGANISATIONSPERSPEKTIV Var uppdragets beställning (direktivet) tydlig för dig? Vem var beställaren (en person)? Vad hade bidragit till större tydlighet om så behövdes? Var alla överens om förväntningar på resultat (dvs. omfattning, tids-ramar, inriktning m.m.)? Var organisationen tydlig för alla – t.ex. projektgrupp, styrgrupp, projektledare, projektmedarbetare, ”leverantörer”, om det förekom? Var din roll och ditt ansvar tydligt (för alla)? Förekom många revirhinder? Blev beställaren nöjd med levererat resultat (trots möjligt missnöje med vad som kommit fram i sak)? Blev uppdragets/projektets avslut bra (fanns det en avslutningsce-remoni)? Vilken var den främsta orsaken till att projektet/uppdraget löpte så bra alternativt så trögt i ett professionellt perspektiv? Det här behöver förändras till nästa gång ...



66

Vilket sätt valdes att hantera förutsägbara konflikter (t.ex. i eller utanför uppdraget/projektet)? Vad blev konsekvenserna?

JAG-PERSPEKTIV Hur hade jag kunnat bidra till större tydlighet? Accepterade jag villkoren fullt ut och var lojal med dem under arbe-tet?Kände jag lojalitet mot arbetsgruppen? Accepterade jag strukturen på arbetet sådan som den såg ut? Var det en bra roll och ett lagom ansvar för mig? Så här kände jag inför avslutet Det här behöver jag förändra/lära mig till nästa gång ... Det här hade jag också önskat att få bidra med ...! Har jag kunnat använda hela mitt jag i arbetet (även min ”dolda kompetens”)? Det här tyckte jag var roligast ... Det här blev jag arg eller ledsen över ...Det här tog jag särskilt ansvar för ... Det svåraste i uppdraget var ...Så här har jag känt mig i gruppen ... Så här tror jag andra upplevt mig i gruppen ... Har jag kunnat stå upp för gemensamma beslut eller har de känts obekväma eller främmande? Det här har jag lärt mig av själva arbetet; om mig själv, om mina kamrater, om min arbetsplats, om andra ämnesområden, om arbets-formen, etc.

Nedan finns förslag till diagram att sortera frågor eller bedömningar efter.

Förslag till diagram att sortera frågor efter Diagrammet kan ses som en utveckling av det tidigare fyrfältsdiagrammet. I ett sådant här rutnät kan man sortera in de frågor som kommer upp utifrån ut-forskningsområde och perspektiv.

Man kan också använda det för att sortera efter hur önskvärt ett visst förhållande eller resultat är och i vilken utsträckning man anser att man har lyckats. Då behövs ett rutnät för varje fråga. Det kan vara ett åskådligt sätt att presentera enkätsvaren på, särskilt om gruppen är relativt stor.



67

Professionellt (eller organi-sationspersp.) eller Önskvärt

mindre inte alls mycket ganska mycket

Emotionellt eller jag-perspektiveller Hit nådde vi

mindre

inte alls

mycket

ganska mycket



68

LitteraturUtvärdering Karlsson, Ove, 1999, Utvärdering – mer än metod, Stockholm, Svenska Kommun-förbundet. Kylén, Jan-Axel, Utvärderingsboken, Stockholm, Kylén Förlag AB Patton, Michael Q, 1997, Utilization-Focused Evaluation, Sage Publications. RRV 1999:17, Handbook in Performance Auditing, Theory and Practice, Stock-holm, RRV. Statskontoret 2001:22 Utvärdera för bättre beslut! – Att beställa utvärderingar som är till nytta i beslutsfattandet. (Finns på nätet: www.statskontoret.se). Vedung, Evert, 1991, Utvärdering i politik och förvaltning, Lund, Studentlitteratur.

Intervju och enkät Kvale, Steinar, 1996, InterViews. An Introduction to Qualitative Research Intervi-ewing, Sage Publications (ursprungl. publicerad av Studentlitteratur, Lund). Kylén, Jan-Axel, 1994, Fråga rätt vid enkäter, intervjuer, observationer, och läs-ning. Stockholm, Kylén Förlag AB.