Introductie in Impact Management
Koninklijke Bibliotheek17 december 2018 | Kirsten van Reisen
Your opinion
Voorstelronde
Sinzer - impact experts
Impact strategie Impact
management
Impact onderzoek
Onze klanten
Agenda
Wat is er nodig om als organisatie met maatschappelijke effecten aan de slag te gaan?
Introductie ● Wat is impact management?● Waarom is het belangrijk?
Aan de slag● Scope van de meting● Insteek en grondigheid van de meting● Waar begin je?● Aan de slag met casussen
Focus op impact
Impact volgens Sinzer
Veranderingen voor stakeholders of de maatschappij als
gevolg van een interventie, project of beleid.
Bedoeld en/of onbedoeldPositief en/of negatief
Additioneel
Belanghebbenden (stakeholders)
> Personen of partijen die verandering ervaren als gevolg van het initiatief
● Wie bedien je? (met je activiteit vs. met je onderzoek)
● Primaire doelgroep vs. overige stakeholders
● Karakteristieken van deelnemers
Dat wat je er in steekt.
Bijv. tijd, geld
Dat wat JIJ doet.Bijv. cursussen
organiseren
De resultaten, vaak kwantitatief.
Bijv. aantal cursussen en
cursisten
De effecten, verandering(en) op korte en/of
langere termijn. Bijv. meer kennis
De effecten die je kunt toeschrijven
Input Activiteiten Output Korte - Outcome - Lange Impact
Veranderpad - Theory of Change
Hoe succes wordt gedefinieerd
Wat we doen De verandering die we creëren
Niet alle impact is gelijk
Impact Waardevolle impact
Positieve verandering voor mens of milieu
Positieve verandering voor mens of milieu
Verandert perspectief en
kansen
Verandering blijft
Wat is geen impact?Meer outputs = meer impact
So what?
Impact management
Ad hoc & anekdotisch
Consistent & systematischImpact Management
Beetje impact voor sommigen Waardevolle impact voor iedereen
Waarom impact managen?
Verantwoordingsgrens
Activiteit
Activiteit
Activiteit
Outputs
Outputs
Outputs
Korte termijn outcome
Korte termijn outcome
Lange termijn outcome
Lange termijn outcome
IMP
AC
T
Verantwoordingsgrens
Materialiteitsprincipe
>> Materiële outcomes○ Relevant○ Significant
>> Dermate belangrijk dat het beslissingen en acties beïnvloedt
Principes van Impact Management
Analyse1. Waardeer de juiste dingen - wat is belangrijk voor je stakeholders?2. Begrijp wat er verandert3. Betrek stakeholders4. Betrek alleen het materiële - wat beïnvloedt je beslissingen?
Rapportage5. Niet over-claimen6. Transparantie7. Verifieer de resultaten
Impact management
Meten & monitoren
Analyseren, rapporteren & verbeteren
Strategie & definitie
Impact en Impact Management
Impact: Veranderingen voor stakeholders of de maatschappij als gevolg van een interventie, project of beleid. (Bedoeld en onbedoeld, positief en negatief, additioneel)
Impact management: het proces van onderzoeken welke veranderingen materieel (van voldoende betekenis en omvang) zijn; en op basis daarvan proberen het negatieve te voorkomen en het positieve te vergroten.
Waarom is impact management belangrijk?
Een impactvolle interventie
● €1.000 om te investeren in onderwijs-gerelateerd project● Doel: kinderen langer naar school
Een impactvolle interventie
Doelen van impact management
● Managementinformatie:
- Effecten begrijpen
- Betere besluiten nemen
- Verbeteringen doorvoeren en
impact maximaliseren
>> Maar ook:
- Verantwoording afleggen en
claims onderbouwen
- Marketing en communicatie
- Financiering aantrekken
Probleemanalyse
1. Wat is het maatschappelijk probleem waar het initiatief zich op richt?
2. Hoe urgent is dit probleem voor de doelgroep? Hoeveel verschil kan worden gemaakt?
3. Wat is de omvang van dit probleem?
4. Welke oplossingen biedt het initiatief? Waarom zijn dit oplossingen?
5. Welke doelstellingen heeft het initiatief, op welke termijn?
6. Hoe belangrijk zijn deze veranderingen?
Wat gaan we doen?
Aan de slag!
Stap 1… Scope!
Begin altijd met scope:
● Wat bestudeer je (project, programma, organisatie)?
● Doel● Publiek● Grondigheid en informatiebehoefte
Scope: Wat bestudeer je?
Gaat het over:● Gehele organisatie● Programma● Project● Activiteit
En: Hoe verhoudt je onderzoek zich tot de overkoepelende impact agenda van je organisatie als geheel?
Scope: Doel
● Managementinformatie:
- Effecten begrijpen
- Betere besluiten nemen
- Verbeteringen doorvoeren en
impact maximaliseren
● Extern:
- Verantwoording afleggen en
claims onderbouwen
- Marketing en communicatie
- Financiering aantrekken
Scope: doel
Voorbeelden:
● Investeerder wil keuze maken tussen verschillende opties● Interne strategie: deden we het dit jaar beter dan vorig
jaar?● Bestuur wil kiezen tussen verschillende projecten● Financieel mgt: beoordeling prestaties vs. budget● Projectmanager: wat verandert er voor wie? Welke
verandering is het meest belangrijk? Hoe kunnen we onze impact vergroten? Welke werkwijze behaalt doel het beste? Kan het beter?
● Meerdere doelen tegelijk is mogelijk!
Scope: publiek
● Intern of extern?● Management, bestuur, financier, breder publiek?● Hoe is de impact cultuur daar?● Gericht op leren en verbeteren of evalueren?
○ Continu of eenmalig achteraf● Welke stakeholders betrek je?
Scope: informatiebehoefte
● Wat willen zij weten?○ Outputs, outcomes, impact?○ Cijfers en/of verhalen?○ Vooraf bepaalde meetdoelen of open vragen?
● Hoe zeker willen zij het weten?○ “It is better to be vaguely right than precisely wrong”
(John M. Keynes)● Meetperiode● Tijd, geld en menskracht
Tijd, geld, menskracht
En andere contextfactoren...- Commitment van management/bestuur voor impact
management proces- Budget- Tijd vrijgemaakt in agenda’s van sleutelfiguren?- Helder tijdspad?- Verantwoordelijkheden: Bij wie is het belegd (stagiair,
finance & admin, communicatie?- Is er draagvlak breder (aan de input lever kant of output
gebruikerskant) en helderheid over tijdspad?- Gecheckt welke info al beschikbaar is: worden er al zaken
gemeten die je kunt gebruiken?
Meten Photo by Charles Deluvio
Meten
Insteek en grondigheid
We hebben de scope bepaald:● Waar gaat je meting over?● Doel van onderzoek● Publiek/lezer● Informatiebehoefte
Nu moeten we de grondigheid bepalen:● Materiële vragen: welke verandering(en) ga je meten?● Stakeholders: wie betrek je op welke manier in het onderzoek?● Tijdsduur: wanneer en hoe lang na einde ga je meten?
○ Wat is goed genoeg in lijn met doel en publiek?
Gewenste grondigheid
Hoe verder je publiek van de interventie zit, hoe grondiger je moet zijn:
Minst grondig ← → Meest grondig
Interne planning Management rapport
Financier rapport Publieksrapport
Data verzamelen
● Storytelling is een mooie methode als je doelstelling met name een ‘communicatie’ focus heeft.
● Focusgroepen zijn goed om aannames te testen of te verifiëren.● Diepte interviews geven gedetailleerde ervaringen en quotes. Lastiger
te verwerken in bijvoorbeeld een infographic.● Surveys zijn systematischer en hebben een meer kwantitatieve focus.
Gemakkelijk om veel mensen te bevragen, (statistisch) analyseren vraagt om expertise.
↳ Welke steekproefgrootte is nodig voor je doel en publiek?● Literatuuronderzoek voor onderbouwing, wekt vertrouwen
Design
Twee belangrijke zaken:
● Bron: waar haal je de data vandaan?
● Design: pre - post, evaluatief, vergelijkend?
Wat is gewenst voor je doel en publiek? Welk niveau van grondigheid is haalbaar?
Mogelijke drempels en de realiteit
Begint waar je bent, het is een groeipadHet is geen rocket scienceHet is een proces Je bent afhankelijk: in hoeverre zit het al in het DNA van je organisatie?
Impact management
Meten & monitoren
Analyseren, rapporteren & verbeteren
Strategie & definitie
Zicht op directe resultaten- Activiteiten zijn helder - Outputs geformuleerd
Beschrijvend en ad-hoc- Dataverzameling gebeurt ad-hoc
- Met name anekdotische data- Cijfers beperkt tot output-data
Eenmalig en beschrijvend- Incidentele impactrapportages
- Anekdotische resultaten
Impact cultuur- organisatiebreed commitment en
draagvlak voor het belang van verzamelen en gebruiken impact data
Een goede basis- Probleemanalyse uitgevoerd
- Stakeholders gedefinieerd- Impactdoelstelling geformuleerd
Sturen op impact- continue monitoring van impactresultaten
- ingebed proces van analyseren en leren- periodieke bijsturing op basis van data
Structureel en diepgaand- Periodieke impactrapportages
- Statistische analyses- Benchmarking en trendanalyse
Structureel en gestructureerd- Dataverzameling gebeurt structureel
- Dataverzameling gebeurt volgens een plan- Mixed-methods en triangulatie
Zicht op beoogde impact- Outcomes zijn helder gedefinieerd
- Meetbare outcome-indicatoren- Focus op primaire doelgroep
Van probleem naar theorie- Uitgewerkte en gevalideerde Theory of Change
- Zicht op te verwachten effecten- Werkzame mechanismen zijn helder
IMPACT MANAGEMENT: VOLWASSENHEIDSMODEL
IMPACT RAAMWERK
Zicht op netto impact- Aandacht voor onbedoelde effecten- Aandacht voor negatieve effecten
- Aandacht voor bredere stakeholders
DATA COLLECTIE
Geavanceerd en representatief- Verzamelde data is representatief- Gevalideerde meetinstrumenten
- Gerandomiseerd onderzoek met controlegroep
ANALYSE & RAPPORTAGE
Real time en continu- Gebruik van real-time data
- Data-science en geavanceerde analyses- Attributie-analyse en prognoses
IMPACT MAXIMALISATIE
Impact boekhouding- is even belangrijk als fin. boekhouding
- Systeem voor impactboekhouding is ingericht- en wordt structureel bijgehouden
IMPACT STRATEGIE
Van theorie naar strategie- Haalbaarheidsstudie / business case- Scenario Planning en risicoanalyse
- Tijdslijn en targets
12
3
12
3
12
3
12
3
12
3
Indicatoren
Waar begin je?
De case voor vandaag: impactonderzoek voor jouw casus
Interventie en doel van interventie =
Doel van onderzoek =
Publiek voor onderzoek =
Informatiebehoefte van publiek =
Gewenste insteek =
Oefening (15 minuten)
Casus 1
1. Activiteit: Wekelijks taalcafé in jullie bibliotheek voor mensen voor wie het
Nederlands niet de moedertaal is, die moeite hebben met de Nederlandse taal en die de
spreekvaardigheid willen verbeteren. Zij kunnen in een informele en ontspannen
setting oefenen.
2. Situatie: Jullie hebben een divers publiek, en als bibliotheek onvoldoende zicht op wat
het taalcafé mensen oplevert. Jullie twijfelen of de mensen die er zitten de juiste
mensen zijn, en of jullie voldoen aan hun behoeften. Sommigen volgen ook al
taaltrainingen elders.
Casus 2
1. Activiteit: Als bibliotheek hebben jullie 15 verschillende projecten op sociaal domein,
o.a. Taalcafes, voorleesavonden, workshops, speciale pc’s…
2. Situatie: Jullie willen weten welke projecten het beste werken, want er is steeds
minder subsidiegeld. Jullie willen dus kiezen op welke projecten je blijft inzetten en
welke afvallen. Ook willen jullie meer geld krijgen van financiers.
Casus 3
1. Activiteit: Wekelijks taalcafé in jullie bibliotheek voor mensen voor wie het
Nederlands niet de moedertaal is, die moeite hebben met de Nederlandse taal en die de
spreekvaardigheid willen verbeteren. Zij kunnen in een informele en ontspannen
setting oefenen.
2. Situatie: Jullie hebben steeds minder geld om de taalcafés te blijven aanbieden, maar
denken wel dat dit een belangrijke taak is voor de bibliotheek en zien dat sommige
deelnemers er echt van op lijken te knappen. Jullie willen dus bewijzen dat het werkt en
daarmee extra financiering aantrekken.
Checklist bij start onderzoek
☑ Beginfase ☑ Scope bepalen van je onderzoek
Buy-in van management Probleemanalyse is helder
Budget gekregen Impactdoelstelling van organisatie/activiteit is helder
Onderzoeksteam samengesteld Stakeholders bepaald
Gecheckt welke info al beschikbaar is Scope van onderzoek bepaald
Tijd gemaakt in agenda’s Doel van onderzoek bepaald
Publiek + informatiebehoefte bepaald
Insteek van onderzoek bepaald
Grondigheid van onderzoek bepaald
Scope bepalen van je impact onderzoek
Wat ga je onderzoeken (organisatie>project>activiteit)
Doel van onderzoek (Intern: plannen, monitoren? Extern: communicatie, fondsenwerving?)
Publiek voor onderzoek (1 of meer groepen?)
Informatiebehoefte van publiek (verschillend per publieksgroep?)
Gewenste insteek (hoe rigoureus,
www.sinzer.org