Upload
urbanregionalresearch
View
177
Download
3
Embed Size (px)
DESCRIPTION
Lars André Skari 19.09.13: Bruk av evalueringer til innovasjon og læring i frivillige organisasjoner
Citation preview
Bruk av evalueringer til
innovasjon og læring i frivillige
organisasjoner.
Evalueringskonferansen 2013
Lars-Andre Skari
Dagens tema:
■ Lykkes frivillige organisasjoner bedre enn andre organisasjoner
med å bruke evaluering til innovasjon og læring?
■ Hvordan kan evaluering gi grunnlag for læring og endring og bidra til
bedre resultater – et praktisk eksempel
■ Hvordan kan teknologi bidra til at følge evalueringer blir mer
relevante?
■ Oppsummering
Lykkes frivillige organisasjoner bedre
enn andre organisasjoner å bruke
evaluering til innovasjon og læring?
Mulig…
Hva må til?
■Gode systemer for evaluering og læring
■Riktig holdning og kultur
■Relevante og gode evalueringer
■Riktig bruk av evalueringene
Monitorerings og evalueringssystem
■ Klart definert innretning og ramme (policy)
— Målsetning – kontroll vs læring og endring
— Retningslinjer kunne vært klarer
— Monitorering vs evaluering?
■ Organisatoriske struktur
— Egen kompetent enhet
— Bredt mandat
— Forankringen - i organisasjonen, i overordnede dokumenter og i styret
■ Gode prosesser
— Balanced: top-down vs bottom-up
— Strategic fokus kunne vært sterkere
— Eksternt perspektiv - kvalitetssikring
— Svake system for behandling og respons
Holdninger til evalueringer
0
10
20
30
40
50
60
70
80
Evaluation isinteresting
Evaluation is fun Everybody needsevaluation
I'd like to get moreinvolved inevaluation
I'd like to take part intraining onevaluation
Strongly Agree
Agree
Disagree
Strongly Disagree
Hvorfor så positive?
■ Det har over tid vært krav om gjennomføres av mange evalueringer
■ Evaluering er blitt en del av kulturen og hverdagen
■ Medarbeiderne er indre motivert – ønsker et best mulig resultat og
ser etter bedre måter å jobbe på
■ Stort engasjement – sterke meninger
Mulig skyggesider?
■ Mange som vil noe stor men ikke nødvendigvis det samme
■ Meningsbrytninger og omkamper
Relevante og gode evalueringer?
Tilfredsstillende
men: ■ Ønske seg flere mer omfattende evalueringer
■ Valg av evalueringsmetoder
■ Tydeliggjøre evalueringsbegrensninger
■ Manglende bruk av referansegrupper
■ Styrke kvalitetskontroll
■ Læring kunne ha sterkere fokus i rapportene
■ Mer «ute av boksen» tenking
For hvem evaluerer vi?
0
10
20
30
40
50
60
70
80
Evaluation is mainlyfor top management
Evaluation is mainlydone for others
Evaluation is mostlyuseful for external
audiences
Evaluations live theirown life, for their
own purposes
Evaluations tend tobecome empty
rituals
Strongly Agree
Agree
Disagree
Strongly Disagree
Bruken av evalueringer?
0
10
20
30
40
50
60
70
Our organisationmakes good use of
evaluations
Evaluations buildthe legitimacy ofour organisation
It is necssary to talkabout evaluation
results
Integratingevaluation
activities enhanceslearning
Without evaluationwe would not knowmuch about results
Strongly Agree
Agree
Disagree
Strongly Disagree
Stemmer det positive inntrykket?
Hvordan kan evaluering gi
grunnlag for læring og endring
og bidra til bedre resultater
Sierra Leone
Sierra Leone – Kolera respons 2012
■ Januar – 1. utbrudd: Lokal respons (DREF)
■ Slutten av juli – 2. utbrudd: Lokal respons (DREF)
■ August:
—Vurdering av behov – utløser røde kors respons
—Regional respons (RDRT) – vann og sanitær
—Emergency Respons Units (uke 33)
–Basic Health Care (BHC)
–Community Health Module (CHM)
–Mass Sanitation Module (MSM)
■24 000 tilfeller av kolera - 300 døde
■Fungerende helsedepartement
■Sterk nasjonal forening
Målsetninger:
■ Forebygge videre spredning i 360.000 familier (households)
■ Forbedre vann og sanitær forhold og promoterer bedre hygiene
■ Styrke helsestasjoner i utsatte områder
Ny respons basert på erfaringer fra Zimbabwe, Chad og Haiti
■ Behandle så mange av tilfelle som mulig i sine lokal samfunn
■ Integrerte tilnærming på lokalt og regionalt nivå med fokus på
kunnskapsoverføring og bruk av frivillige til å skalere opp:
■ Vann og sanitær
■ Klinisk
■ Forebygging
■ Mini KAP - under og etter epidemien (Knowledge, Attitude og
Practice)
Innovasjon og læring:
■ Utvikle standard mini KAP for RAMP
— Testet på felt skole i Zimbabwe
– Viste at frivillige kan bruke RAMP til å innhente helseinformasjon av tilfredsstillende
kvalitet
– WHO og helse myndigheter
— Planlagt brukt på Haiti i nær fremtid
— Akademisk tilnærming er nødvendig for å kunne dokumentere effekten av ny
tilnærming – CBDS (Community Based Disease Surveillance)
■ Ha tilgjengelig nødvendig spisskompetanse
■ Integrerte team – forebygging, vann og sanitær og klinisk
— Justering av rutiner, verktøy, utstyr og logistikk oppsett
■ Kolera respons
— Rehydrerings poster
— Frivillige helsearbeidere til å skalere opp
Hvordan kan teknologi bidra til
at følge evalueringer blir mer
relevante?
RAMP – hvordan virker det?
Data håndtering og bruk
Hvorfor bruke mobiltelefoner til data
innsamling?
■ Kostnads og tidseffektiv
■ Mulig å gjøre endringer underveis
■ Bedre datakvaliteten: færre operasjoner, real-time (WiFi
og 2G opplasting), enhetlig og testet utforming av
undersøkelser, mulig å kvalitetssikre dataen fortløpende,
GPS funksjon, etc.
■ Data kan analyseres av ekspert som ikke er i landet.
■ Sentral lagring av data og standardisering av moduler -
dele data og lære sammen med andre organisasjoner
■ Frivillige syntes dette er spennende og motiverende
■ Mobil telefoner er et globalt fenomen
Oppsummering
■ Frivillige organisasjoner har gode forutsetninger for å
kunne bruke evalueringer til læring og innovasjon — Relativt gode systemer
— God evalueringskultur
— God kvalitet men må jobbe mer strategisk
— Må bruke evalueringene bedre
■ Det er utfordrende å sikre effektiv læring og innovasjon — Mange nivåer
— Mange små aktører
■ Riktig bruk av teknologi kan bidra til å styrke læring,
innovasjon og endring.