www.gu.se

Utvärderingens delar- Exempel från Folkhälsoenhetens

utvärderingar

www.gu.se

Disposition

• Utvärderingsobjekt• Syfte och användning• Design och datainsamling• Bedömning och värdering• Analys och slutsatser

www.gu.se

Utvärderingsobjektet

www.gu.se

• Programlogik och struktur• Förförståelse och antaganden• Programteori

• Två utvärderingar:–Slututvärdering av Folkhälsokommitténs satsning på

projekt för utsatta grupper i Västra Götaland 1999-2001–Nationell utvärdering av FaR

www.gu.se

Konkretisera utvärderingsobjektet• Vad är det som ska utvärderas?• Exempel:

- utvärdering av satsningen på projekt riktade till utsatta grupper.

1: satsningen som helhet

2: de enskilda projekten3: satsningen som helhet samt de enskilda projekten

www.gu.se

• Tänkbara effekter och mål?• Hur uppnås dessa?• Verktyg: programteori

• Eventuella avgränsningar• Utvärderingsobjektet avgörande för hur syftet formuleras

– Bestämmer således hela utvärderingens upplägg

Hur ser logiken i utvärderingsobjektet ut?

www.gu.se

www.gu.se

Ex. från FaR-utvärdering:

Min rekonstruktion:

www.gu.se

Syfte och användning

www.gu.se

Syfte

Utveckla verksamheten Kontrollera verksamheten Ge nya kunskaper om verksamheten

Legitimera verksamheten Manipulera verksamheten

www.gu.se

Användning Instrumentell användning

- Rekommendationer från utvärderingen omsätts i verkligheten. Konceptuell användning

- Utvärderingen påverkar inställning/ attityd. Inga konkreta förändringar. Legitimerande användning

- Utvärderingen används för att legitimera legitimera ett projekt eller aktivitet för en redan intagen ställning.

Strategisk användning - Utvärderingen används för att vinna tid eller undvika ansvarsutkrävande. En utvärdering är tillsatt vilket tyder på att något görs.

Processanvändning - Utvärderingsprocessen leder till förändring.

www.gu.se

Design och datainsamling

‒ Konsten att välja rätt verktyg

www.gu.se

Vad är metod?

• Kvalitativ • Fördjupning, ej det generella • Intervjuer, fokusgrupper, mindre urval• Kvantitativ• Generella resultat, frekvens • Enkäter, stort urval

www.gu.se

Urval

• Vad frågar man efter? • Hur många tycker…?• Representativitet• Hur många elever har uppmärksammat kampanjen om klamydiatester?

• Vad tycker elever om kampanjen?

www.gu.se

Varför är metod viktigt?

• Ge värde till resultaten• Tillförlitliga resultat• Tillförlitligt underlag för beslut • Ge styrka till föreslagna förbättringar• Stöd till utvärderaren• Underlag för diskussion & förståelse av utvärderingen

www.gu.se

Bedömning och värdering

www.gu.se

Vad är värdering och varför är det viktigt?• Exempel• Konkretisera visionära mål• Verksamheter är i sig själva aldrig värderingsfria

www.gu.se

Fundera mera!

• Målgruppskonstruktion • Diskussion• Konstruktion av värderingar

www.gu.se

Avslutning

• Positivt med våra utvärderingar

www.gu.se

Analys och slutsatser

www.gu.se

Vad ska analysen och slutsatserna innehålla? • "Knyta ihop påsen", ge svar på frågeställningarna i utvärderingen

• Återkoppla till generella mål med utvärdering• Var programmet en framgång enligt kriterierna som det utvärderas mot?

• Vilka förändringar har observerats som ett resultat av programmet?

• Vad kunde gjorts bättre?• Vad kan man tänka på i framtiden?

www.gu.se

Trovärdighet och generaliserbarhet

• Slutsatser måste vara baserade på analysen och empirin och vara rimliga i förhållande till denna

• Transparens: Hur har man kommit fram till slutsatserna?

• Objektivitet• Inte alltid

möjligt/eftersträvansvärt att kunna generalisera

• Representativt urval• Exempel: Familjeverkstan:

Litet urval, blandning mellan kvantitativa och kvalitativa metoder, modifierat genom-förande

• Kan man baserat på denna utvärdering generalisera och säga att “Familjeverkstan” som modell är lyckad?

www.gu.se

Vanliga programbrister som påverkar möjligheterna till goda slutsatser• Genomförandefel: Fel i genomförandet av programmet

• Teorifel: En policy har inte möjligheter att påverka problemet

– Har en policy/idé förutsättningar att lösa det bakomliggande problemet?

www.gu.se

Att tänka på:

• Goda slutsatser från en utvärdering ger råd om faktorer som går att påverka för användarna

• Ska helst ge svar på evidensfrågan• Slutsatserna ska presenteras på ett sätt som maximerar användningen av utvärderingen

• Slutligen handlar värdet i utvärdering om dess nytta, i form av lärande och användbarhet

www.gu.se

Tack för att ni har lyssnat!

Julia Andrén

My Ekrelius

Alexander Westerberg

Johanna Almgren

Daniel Hallberg

Mattias Fyhr

Karin Rhodin

Marta Rivelis

Linnea Löfström Engdahl

Maria Bergman

Linn Sandberg