Møde med science-kommuner I Region Hovedstaden vedr. evaluering

Birkerød, den 13. januar 2011

Thomas Hem Pedersen (thp@eva.dk)og Rikke Sørup (rs@eva.dk)

Danmarks Evalueringsinstitut (EVA)

Hvem er vi?

Rikke Sørup • Baggrund som gymnasielærer og uddannelsesleder• Ansat på EVA siden 2001 (GUU)

Thomas Hem Pedersen• Cand scient soc• Metodekonsulent på EVA siden 2007

Danmarks Evalueringsinstitut (EVA)• Uafhængigt statsligt evalueringsinsititut på uddannelsesområdet

siden år 2000 • Gennemfører opgaver på eget initiativ og løser opgaver på

konsulentbasis• Gennemfører evalueringer og opbygger evalueringskapacitet

(nationalt videnscenter)• Rådgiver i evalueringssammenhænge

Slagplan• Oplæg om evaluering med indsatsteori som udgangspunkt

• Fokus på mål • Fokus på indsatser, indikatorer og succeskriterier (tegn) med

udgangspunkt i jeres forberedelse til mødet• Fokus på anvendelse af evalueringen (det fremadrettede aspekt)

• Øvelse – rekonstruering af jeres indsatsteori (Hvad er det der skal evalueres?)

• Oplæg omkring evaluering af indsatsteori og valg af metoder• Lidt om forskellige dataindsamlingsmetoder – fordele og ulemper ved

forskellige metoder• Særligt fokus på spørgeskemametode

• Øvelse: gruppearbejde eller individuelt arbejde med evalueringsdesign (Hvordan evaluerer vi/Hvilke metoder passer til vores evalueringsspørgsmål

• Individuel sparring i forhold til de enkelte evalueringsdesign, herunder helt praktiske spørgsmål omkring dataindsamling

• Afslutning

Elevernes behov:Gennemsigtighed

”Hvad skal jeg vælge?”

Politikernes behov: Dokumentation

”Får vi valuta for pengene?”

Skolernes behov: Udvikling”Hvordan kan vi blive bedre?”

Hvorfor evaluerer I?

Hvad er evaluering?

En kvalificeret vurdering af noget der er hændt, det vil sige:

• er ”kvalificeret” i betydningen baseret på dokumentation som er indsamlet og bearbejdet på en systematisk måde.

• Indeholder en vurdering (Det er det der adskiller evalueringer fra mange andre aktiviteter: forskning, meningsmålinger m.m.).

• Er bagudrettet, men med fremadrettet perspektiv.

• Der er en evalueringsgenstand.

Intuitiv arbejdsmetode

1. Tema/

område

2. Ind-tryk

3. Intuition

4. Beslut-ning

Intuitiv og systematisk arbejdsmetode

Intuitiv arbejdsmetode

1. Tema/

område

2. Ind-tryk

3. Intuition

4. Beslut-ning

Systematisk arbejdsmetode

1. Tema/

område

2. Ind-tryk

3.Mål

4.Data

5.Analyse

6.Konklusion

7.Beslut-ning

8.Dokumen

-tation

80-90 %

10-20 %

Intuitiv og systematisk arbejdsmetode

Kilde: Torben Spanget

Formativ, summativ eller en blanding

• Når kokken smager på suppen er det _____________ evaluering (udvikling/læring)

• Når gæsten smager på suppen er det _____________ evaluering (kontrol)

• Men hvis mange gæster påpeger at maden er for krydret, så får det forhåbentlig kokken til at overveje hvorvidt der skal ændres noget

Hvordan arbejde med kvalitet?

1) Klare mål - Hvad er kvalitet?

2) Tegn- Hvad er tegn på kvalitet i den daglige praksis?

3) Evaluering-I hvilken grad opnås den ønskede kvalitet?

4) Vurdering af praksis og målene- Tage konsekvensen og sætte nye mål?

SMTTE Modellen

Hvad er en indsatsteori?

• En måde at visualisere sammenhængen mellem aktiviteter, trin på vejen, resultater og virkninger på længere sigt.

• Bag enhver indsats ligger nogle forestillinger om hvorfor vi tror en indsats virker og hvorfor den er velegnet til at nå bestemte mål

• Indsatsteorien beskrives som et procesforløb.

• Først sker der det ene, så sker der det andet, så sker der det tredje.

Kampagne for nikotinplaster

Mindsket rygetrang Rygestop Længere liv

Bedre sundhed

Indsatsteorien opstilles grafisk

Indsatsteorien som udgangspunkt for en evaluering• Når indsatsteorien er opstillet skal evaluatoren til at

fungere som detektiv.

• Følger virkningskæden fra indsats til virkning. Undersøger hvert led i indsatsteorien. Ofte mange led.

• Metoder: Observation, interview, spørgeskema, registerdata.

Indikator Succeskriterium Dataindsamling

s-metode

Tre hjælpere

Forhold, omstændigheder, holdninger eller adfærd som kan iagttages

Kvantitative eller kvalitative specificeringer af hvad I gerne vil opnåMetode til at opnå

en bestemt viden

Kampagne for nikotinplastre

Rygerne køber

nikotinplastre

Nikotinplastre skaber mindre

rygetrang

RygestopLængere liv –

bedre sundhed

Hvor mange har set

reklamer?Vurdering af reklamerne?

Salg af nikotinplastre Oplevet

rygetrangSalg af

cigaretter Antallet af

rygereSpørgeskemaundersøgelse - omnibus

Optælling/salgstal Spørgeskem

a/interview Optælling/

Spørgeskemaundersøgelse

20 % færre rygere efter 2 måneder

Gruppearbejde

• Hvad er formålet med vores evaluering?• Hvad evaluerer vi? Hvad er indsatsen? (prioriter evt.)• Hvad er målet? Hvad er resultaterne på kort sigt?• Rekonstruer trinnene på vejen?• Overvej tegn og evt. succeskriterier?

Program – del 2

• Lidt om forskellige dataindsamlingsmetoder – fordele og ulemper ved forskellige metoder

• Særligt fokus på spørgeskemametode• Gruppearbejde: Hvordan skal vi evaluere/Hvilke

metoder passer til vores evalueringsspørgsmål• Individuel sparring i forhold til de enkelte

evalueringsdesign, herunder helt praktiske spørgsmål omkring dataindsamling

Dataindsamlingsmetoder

Kvantitative metoder• Optælling• Registeranalyser (data vi allerede har)• Spørgeskemaundersøgelser

Kvalitative metoder• Interview• Iagttagelse/observation• Dokumentstudier

Kvantitative metoderKvantitative metoder er generelt gode til at• give svar på spørgsmål hvortil der et kendt og begrænset antal

svarmuligheder• finde ud af hvor mange % mener dit og dat • Udtale sig generelt om hvor udbredt fx en bestemt vurdering er• levere overbevisende dokumentation (ja måske)

Kvantitative metoder er generelt dårlige til • Eksplorative formål: udforskning af ukendte områder, identifikation

holdningsområder. Når viden og erfaring er begrænset• Eksplanative formål: forklaringer, uddybninger og identifikation af

eksisterende holdninger• Lav-interesseområde (antallet af svar bliver lavt)• Give dybere forståelse af bestemte vurderinger, holdninger e.lign• Give detaljeret indblik i styrker og svagheder o.lign.

Kvalitative metoder er generelt gode til • Eksplorative formål: udforskning af ukendte områder, identifikation

holdningsområder• Eksplanative formål: forklaringer, uddybninger og identifikation af

eksisterende holdninger• Give dybere forståelse af bestemte vurderinger, holdninger e.lign• Give detaljeret indblik i styrker og svagheder o.lign.

Kvalitative metoder er generelt dårlige til • Udtale sig generelt om hvor udbredt fx en bestemt vurdering er• Spørgsmål der skal besvares har et kendt eller begrænset antal

svarmuligheder

Kvalitative metoderFordele Ulemper

Dybdeinterview Personlige problemstillinger TidskrævendeIngen gruppebias Ingen gruppedynamikHurtig rekruttering ModeratorbiasDybe/nuancerede svar Afhængig af interviewerenMulighed for spredning

Fokusgruppeinterview Stor gruppedynamik Gruppe- og moderatorbiasMange synspunkter Gruppeleder dominererViser social normdannelse Homogene grupper kræves

Minigruppeinterview Gode til personlige problemstillinger Vigtigt med homogen gruppeGode til dybe svar + interaktion Erfaren moderatorNemmere at skaffe respondenter Lille sample

Kvalitativt telefoninterview Billigt og hurtigt Kan ikke se gestikFleksibelt Svært at vurdere udsagn

Observationer Fokus på hvad folk gør Ved folk om de observeres- ikke hvad de siger Duer kun til få typer undersøgelserKosteffektivtGodt supplement til andre metoder

Workshops/fremtidsværksteder Mulighed for at eksperimentere Tidskrævende for Mulighed for at afprøve scenarier respondenterneLængere varighed Erfaren moderator

Kræver stort engagement i sagen

Reflekterende teams Eftertanke Spillereglerne styrerSupplement til udsagn Accept af interviewform

Metodekombination

• Kvant – kval:

• Kval - kvant:

Specifikt om spørgeskemametode

• Udarbejdelse af spørgeskema• Sammenhæng mellem evalueringsspørgsmål og

spørgeskema• Spørgsmålstyper• åbne og lukkede spørgsmål• Baggrundsspørgsmål

Grundlæggende tommelfingerregler

• Fokuserede spørgsmål• Neutrale spørgsmål• Relevante spørgsmål• Genkaldelige spørgsmål• Begrænsning af ords betydningsvidde

Kursus for natur/teknik

lærere

Lærerne får viden om

hvordan de kan gøre n/t-undervisning

en mere motiverende

Lærerne bruger de nye metoder i n/t-undervisning

en

Større begejstring

for n/t blandt eleverne

Flere elever vælger en

naturvidenskabelig retning i deres videre uddannelsesf

orløbAntal kursusdeltage

re (gennemførels

e)

kendskab til nye undervisningsme

toderBrug af nye

undervisningsmetoder

Elevernes begejstring for

n/t

Optælling/spørgeskem

a Interview/ Spørgeskema

Spørgeskema

Spørgeskemaundersøgelse/interview

90 % af eleverne er

mere begejstrede for

n/t

Valg af videregående uddannelse90 %

gennemført. 80 % er

overvejende tilfredse

lærerne mere inspirerede

90 % kender minimum 3 nye

metoder

90 % bruger ugentligt min 1 ny metode

10 % flere vælger

nat.vid.udd

Registerdata

Udvælg de vigtige led til evalueringen

- Udvælg de dele der er mest afgørende for at indsatsen forløber som planlagt

- Udvælg de dele hvor der er mest usikkerhed om indsatsteorien holder

- Udvælg de dele hvor der nemmest kan skaffes data

- Udvælg de dele hvor der bruges flest ressourcer

Gruppearbejde: Hvilke metoder passer bedst til jeres evalueringsspørgsmål

Relevante spørgsmål:

• Har vi behov for kvantitative data eller kvalitative data eller måske begge?

• Hvad er der til rådighed af data allerede nu, og hvad skal der gøres en indsats for at indsamle?

• Hvilke grupper af interessenter er det muligt at inddrage i evalueringen?