Evalueringskonferansen 2013: Lars André Skari

Bruk av evalueringer til

innovasjon og læring i frivillige

organisasjoner.

Evalueringskonferansen 2013

Lars-Andre Skari

Dagens tema:

■ Lykkes frivillige organisasjoner bedre enn andre organisasjoner

med å bruke evaluering til innovasjon og læring?

■ Hvordan kan evaluering gi grunnlag for læring og endring og bidra til

bedre resultater – et praktisk eksempel

■ Hvordan kan teknologi bidra til at følge evalueringer blir mer

relevante?

■ Oppsummering

Lykkes frivillige organisasjoner bedre

enn andre organisasjoner å bruke

evaluering til innovasjon og læring?

Mulig…

Hva må til?

■Gode systemer for evaluering og læring

■Riktig holdning og kultur

■Relevante og gode evalueringer

■Riktig bruk av evalueringene

Monitorerings og evalueringssystem

■ Klart definert innretning og ramme (policy)

— Målsetning – kontroll vs læring og endring

— Retningslinjer kunne vært klarer

— Monitorering vs evaluering?

■ Organisatoriske struktur

— Egen kompetent enhet

— Bredt mandat

— Forankringen - i organisasjonen, i overordnede dokumenter og i styret

■ Gode prosesser

— Balanced: top-down vs bottom-up

— Strategic fokus kunne vært sterkere

— Eksternt perspektiv - kvalitetssikring

— Svake system for behandling og respons

Holdninger til evalueringer

0

10

20

30

40

50

60

70

80

Evaluation isinteresting

Evaluation is fun Everybody needsevaluation

I'd like to get moreinvolved inevaluation

I'd like to take part intraining onevaluation

Strongly Agree

Agree

Disagree

Strongly Disagree

Hvorfor så positive?

■ Det har over tid vært krav om gjennomføres av mange evalueringer

■ Evaluering er blitt en del av kulturen og hverdagen

■ Medarbeiderne er indre motivert – ønsker et best mulig resultat og

ser etter bedre måter å jobbe på

■ Stort engasjement – sterke meninger

Mulig skyggesider?

■ Mange som vil noe stor men ikke nødvendigvis det samme

■ Meningsbrytninger og omkamper

Relevante og gode evalueringer?

Tilfredsstillende

men: ■ Ønske seg flere mer omfattende evalueringer

■ Valg av evalueringsmetoder

■ Tydeliggjøre evalueringsbegrensninger

■ Manglende bruk av referansegrupper

■ Styrke kvalitetskontroll

■ Læring kunne ha sterkere fokus i rapportene

■ Mer «ute av boksen» tenking

For hvem evaluerer vi?

0

10

20

30

40

50

60

70

80

Evaluation is mainlyfor top management

Evaluation is mainlydone for others

Evaluation is mostlyuseful for external

audiences

Evaluations live theirown life, for their

own purposes

Evaluations tend tobecome empty

rituals

Strongly Agree

Agree

Disagree

Strongly Disagree

Bruken av evalueringer?

0

10

20

30

40

50

60

70

Our organisationmakes good use of

evaluations

Evaluations buildthe legitimacy ofour organisation

It is necssary to talkabout evaluation

results

Integratingevaluation

activities enhanceslearning

Without evaluationwe would not knowmuch about results

Strongly Agree

Agree

Disagree

Strongly Disagree

Stemmer det positive inntrykket?

Hvordan kan evaluering gi

grunnlag for læring og endring

og bidra til bedre resultater

Sierra Leone

Sierra Leone – Kolera respons 2012

■ Januar – 1. utbrudd: Lokal respons (DREF)

■ Slutten av juli – 2. utbrudd: Lokal respons (DREF)

■ August:

—Vurdering av behov – utløser røde kors respons

—Regional respons (RDRT) – vann og sanitær

—Emergency Respons Units (uke 33)

–Basic Health Care (BHC)

–Community Health Module (CHM)

–Mass Sanitation Module (MSM)

■24 000 tilfeller av kolera - 300 døde

■Fungerende helsedepartement

■Sterk nasjonal forening

Målsetninger:

■ Forebygge videre spredning i 360.000 familier (households)

■ Forbedre vann og sanitær forhold og promoterer bedre hygiene

■ Styrke helsestasjoner i utsatte områder

Ny respons basert på erfaringer fra Zimbabwe, Chad og Haiti

■ Behandle så mange av tilfelle som mulig i sine lokal samfunn

■ Integrerte tilnærming på lokalt og regionalt nivå med fokus på

kunnskapsoverføring og bruk av frivillige til å skalere opp:

■ Vann og sanitær

■ Klinisk

■ Forebygging

■ Mini KAP - under og etter epidemien (Knowledge, Attitude og

Practice)

Innovasjon og læring:

■ Utvikle standard mini KAP for RAMP

— Testet på felt skole i Zimbabwe

– Viste at frivillige kan bruke RAMP til å innhente helseinformasjon av tilfredsstillende

kvalitet

– WHO og helse myndigheter

— Planlagt brukt på Haiti i nær fremtid

— Akademisk tilnærming er nødvendig for å kunne dokumentere effekten av ny

tilnærming – CBDS (Community Based Disease Surveillance)

■ Ha tilgjengelig nødvendig spisskompetanse

■ Integrerte team – forebygging, vann og sanitær og klinisk

— Justering av rutiner, verktøy, utstyr og logistikk oppsett

■ Kolera respons

— Rehydrerings poster

— Frivillige helsearbeidere til å skalere opp

Hvordan kan teknologi bidra til

at følge evalueringer blir mer

relevante?

RAMP – hvordan virker det?

Data håndtering og bruk

Hvorfor bruke mobiltelefoner til data

innsamling?

■ Kostnads og tidseffektiv

■ Mulig å gjøre endringer underveis

■ Bedre datakvaliteten: færre operasjoner, real-time (WiFi

og 2G opplasting), enhetlig og testet utforming av

undersøkelser, mulig å kvalitetssikre dataen fortløpende,

GPS funksjon, etc.

■ Data kan analyseres av ekspert som ikke er i landet.

■ Sentral lagring av data og standardisering av moduler -

dele data og lære sammen med andre organisasjoner

■ Frivillige syntes dette er spennende og motiverende

■ Mobil telefoner er et globalt fenomen

Oppsummering

■ Frivillige organisasjoner har gode forutsetninger for å

kunne bruke evalueringer til læring og innovasjon — Relativt gode systemer

— God evalueringskultur

— God kvalitet men må jobbe mer strategisk

— Må bruke evalueringene bedre

■ Det er utfordrende å sikre effektiv læring og innovasjon — Mange nivåer

— Mange små aktører

■ Riktig bruk av teknologi kan bidra til å styrke læring,

innovasjon og endring.

www.rodekors.no

Takk for meg!

lars.skari@redcross.no