Welke lessen kunnen we trekken uit evaluaties...
...met het oog op effectieve wet- en regelgeving?
Carolien Klein HaarhuisWODC
23 april 2014
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
Kort iets over het WODCWetenschappelijk onderzoek- en documentatiecentrum van het ministerie van Veiligheid en Justitie www.wodc.nl
• Semi-onafhankelijk, onderzoek op aanvraag van & in dialoog met het ministerie (onderzoeksprogramma)
• Meer dan de helft wordt door WODC weer uitbesteed • Ruim 100 werknemers• Jaarlijks ruim 100 rapporten en evenzoveel artikelen (50% peer
reviewed) • Tijdschrift Justitiële Verkenningen (JV)• WODC-Infodesk: bijna 500 informatievragen • Jaarlijks enkele honderdduizenden unieke bezoeken website
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
3
Wetgeving in NederlandVastleggen van instituties, bevoegdheden, geldstromen• Waarborgdoelen (bijv. rechtszekerheid, rechtsgelijkheid,
proportionaliteit) • Instrumentele doelen (bijv. meer aanbod van donororganen
bewerkstelligen)
• De meeste wetten zijn complex van samenstelling• Behelzen niet één, maar meerdere ‘interventies’ – o.a. concrete
verplichtingen/verboden, sancties, kaders, subsidies...
• Vaak meerdere normaddressaten • Bijv. gemeenten, ziekenhuizen, scholen, bedrijven, burgers • Bijv. Awgb, Wod, Wet Tweede Fase
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
Voorbeeld van complexe wet: Wet Tweede Fase Uiteenlopende instrumenten:
• Vakkenprofielen• Nieuwe examenprogramma’s• Zelfstandig leren • Meer loopbaanoriëntatie, etc.
3 doelen: 1. Modernisering onderwijsprogramma bovenbouw2. Aansluiting Middelbaar (HAVO / VWO) met Hoger
Onderwijs verbeteren 3. Meer autonomie school in keuze werkvormen
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
Wetgeving in Nederland: een paar cijfersMedio april 2014:
• 1.958 wetten in werking • 2.257 AMVB’s • 5.278 Ministeriёle regelingen
‘Het totale aantal regelingen is tussen 2005-2013 stabiel gebleven’ (Brief minister aan TK, 12 september 2013)
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
Waarom evalueren? • Complexe wetgeving & complexe praktijk • Leren (wat kan beter?)• Transparantie, verantwoording afleggen • Wet van de afnemende meeropbrengsten van beleid / wetgeving
(meer van hetzelfde is niet altijd beter) • Reductie van ‘mediapraat’, ‘van horen zeggen’, ‘belangengroep-
verhalen’
Andere (politieke) doelen: • Uitstel van besluitvorming – of juist doorduwen• ‘Munitie’ in het debat • Verdediging van gemaakte beleidskeuzes• ...
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
Soorten evaluatie• Ex ante: toekomstgericht / beleidsvoorbereiding • Ex post: terugkijkend• Ex durante: gaandeweg (leren)
• Procesevaluatie: proces van in (en uit-)voering • Effectiviteitsevaluatie / effectenevaluatie: doel / neveneffecten • Monitoren: maatschappelijke (doel)indicatoren
• Meta-onderzoek & evaluatiesyntheses: bestaande evaluaties als gegevensbron voor de beantwoording van nieuwe / overstijgende vragen
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
8
Effectiviteitsevaluatie: twee benaderingen Campbell (Collaboration) De experimentele invalshoek. Wat werkt?
•Test beleid en wetgeving als in een ‘laboratorium’: contextuele invloeden worden uitgeschakeld
•Attributief: zijn veranderingen op de doel-indicator ook echt aan de wet / het beleid in kwestie toe te schrijven?
Realist evaluation (o.a. Pawson, 2003/6; Pawson & Tilley, 1997)
•Wat-werkt-benadering niet altijd realistisch. Hoe ga je om met complex beleid? Hoe verklaar je gemengde uitkomsten?
•Contributief: hoe werken interventies (in wetten) welke mechanismen (M) triggeren uitkomsten (O) en onder welke condities (C) gebeurt dat? C-M-O heuristiek
•Mechanismen vaak verborgen (bijv. zwaartekracht, psychologische processen, afwegingen door mensen, groepsprocessen)
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
Experimenteel design à la Campbell
T0e X T1e
T0c … T1c
Waarbij T (T0, T1) staat voor tijdstip meting (resp. nulmeting en nameting), X voor de interventie (bijv. wetswijziging), e voor experimentele groep en c voor controlegroep.
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
Realist evaluation (CMO): HOE werken wetten?
.-
CONTEXT- Factoren die de werking van
de wet beïnvloeden- Bijv. kenmerken doelgroepen
of economische factoren
MECHANISMEN- (Beoogde) Keten van gedragsreacties - Langs welke schakels?
Wet Outcome
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
Synthese wetsevaluaties (WODC, 2008) Hoe staat het met de onderzoekstechnische kwaliteit van
wetsevaluaties? Wat leren we over de aard en werking van de geëvalueerde
wetten? Welke typen interventies bevatten wetten? Doelbereiking/ effectiviteit? Tussengelegen processen? Invloeden vanuit de context?
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
Nederlandse wetten: typen interventies ‘Bestuursinstrumenten’: 80% (kaders, instructies)
• Voorbeeld: Wet op de Basisvorming
Juridische interventies: Handhaving: 59%. Vooral richting burgers en bedrijven.
• Voorbeelden: Ontnemings (Pluk-Ze) wetgeving, Mededingingswet
Financiёle prikkels: 10%. Vooral voor burgers en bedrijven • Voorbeeld: Wet Inkomstenbelasting, Wet Ink.vz. Kunstenaars
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
Doelbereiking
• 41 uit 58: ‘middelmatig’ • 11: relatief hoog• 6: relatief gering
Meeste doelbereiking in geval van:• Wetten die louter uitvoerders adresseren • Kwaliteit van proces van invoering en
uitvoering/handhaving • Meer tijdsverloop tussen invoering en evaluatie • Ambitieniveau
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
C-M-O in de evaluatiepraktijk ... • Veel beschrijvingen van het implementatieproces (de invoering
en deels de tenuitvoerlegging) • Relatief veel over Uitkomsten (O)
• ... echter weinig over Mechanismen (M): Gefragmenteerde beschrijvingen van de verdere dóórwerking op de doelgroep
• Bijv. HOE leiden de vele instrumenten in de Wet Tweede Fase nu precies tot kwaliteitsverbetering?
• Gefragmenteerde informatie over Contexten (C)
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
Beoogde werking in wettenInstitutionele mechanismen, gericht op organisaties met publieke taak • Zelfsturing, checks and balances, integrale aanpak, regierol,
organisatorische ingrepen, versobering en transparantie
Sociale mechanismen, gericht op burgers en bedrijven
• Rechtshandhaving, rechtsbescherming, financiële prikkels, communicatie
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
Werkingsprocessen in werkelijkheid
• Personen, bedrijven, uitvoerders kennen de wet niet altijd (direct) goed
• De uitvoering stokt of verloopt traag; coördinatie- en capaciteitsproblemen (vgl. Nas et al. 2011)
• Autonomie en maatwerk lieten te wensen over; personeelsproblemen; problemen in de samenwerking tussen organisaties (taakverdeling, informatie-uitwisseling)
• Evaluaties komen vaak (te) vroeg, waardoor uitvoering nog niet is voltooid en werking niet is opgetreden
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
Voorbeeld: rechtshandhaving in theorie
• Een afdwingbaar ge- of verbod (interventie)• bijv. met sancties (straf- /bestuursrechtelijk)• of via de civiele rechter
• Zou moeten leiden tot (generaal- en specifiek)preventieve werking (M)
• En zo ongewenst gedrag voorkómen of terugdringen (O)
• Niet alleen op burgers/ bedrijven, maar ook op uitvoerenden Bijv. aansturing van (huis)artsen
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
Rechtshandhaving: de werkelijkheid
• Sancties worden in de praktijk nauwelijks opgelegd controle- en detectiekansen zijn klein
• Preventieve werking is gefragmenteerd: hier wel, daar niet • Niettemin is veel naleving bereikt
Hoe dit laatste te verklaren?
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
19
Werking in de praktijk: andere voorbeelden
• WMCZ: erosie van bestaande medezeggenschapstructuren ‘crowding out’
• Wvgs: spontane naleving vanwege grote bedrijfsmatige risico’s
• Veerman (2013) vond dat de doelbereiking van wetgeving toeneemt met:
•Consultatie •Inzet van toezichts- en handhavingsbevoegdheden •Nalevingsgerichte handhaving•Naleving
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
Context Omgevingscondities die het slagen of falen van wetten beïnvloeden
Werkelijkheid:
• Grote verschillen in succes tussen gemeenten, regio’s en groepen mensen
• Grote instellingen en bedrijven ’doen het beter’
• Flankerende wetten en regels werken volgens veel evaluaties ‘complicerend’
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
Voorbeeld: Basisvorming Bestuurlijke contextAndere, gelijktijdige hervormingsoperaties (2e fase / Studiehuis) Schoolbesturen en leraren zijn overbelast, er is (te) weinig
capaciteit voor uitvoering
SchoolcontextVerschillen in resultaat tussen grote en kleine scholen & resultaatverschillen tussen vakken Individuele contextKwaliteitsbewustzijn bij leraren maakt verschil
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
Context in de praktijk op 3 niveaus
Macro: samenleving/economie, wetten & regels •Groei, afname, fusies •Aanpalende wetten en regels, EU-regelgeving
Meso: organisaties & netwerken •Omvang organisaties•‘Bestuurscultuur’
Micro: individuen, gevallen •Startniveau (bijv. nieuwkomers, scholieren, leraren) •Type crimineel (bijv. bij Pluk-ze), omvang van het bedrijf
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
Context (het veld) uiterst divers, zo ook werking en doelbereiking
Wet/ interventie
Doel
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
Aannames die zijn uitgedaagd • Wet = naleving
• Wetten leiden tot Weten…• ...en Weten leidt tot Doen
Veerman (2013): weten, willen en kunnen zijn – gelet op de empirie – inderdaad cruciaal voor doelbereiking
• Normadressanten maken kosten-batenafwegingen & handelen daar ook naar, bijv.
•Calculeren detectie-, pak- en sanctiekans •Zijn gevoelig voor financiële prikkels
Mensen gebruiken vuistregels en zijn gebiased, zijn sociale en emotionele wezens, etc. Niettemin: wetgeving heeft een ordenende functie, dus kan daar niet altijd van uitgaan
• Regelgeving werkt overal op dezelfde manier / in dezelfde mate
De context is dus van belang maar ook complex en divers; wordt nooit helemaal gekend
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
25
Mechanismen van menselijk gedrag
....die van belang kunnen zijn voor de werking van wetten (Veerman, 2013:73)
• Betrokkenheid op het directe eigenbelang, moral hazard, shadow of the future
• Sociale druk, imitatie, group think, gewoonte • Verliesaversie • Angstreductie • Padafhankelijkheid, reductie van cognitieve dissonantie • Informatiereductie • Respect
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
Naar Evidence Based wetgeving? Voor beleid & onderzoek • Open de black box: hoe werkte ‘t / moet ‘t werken, voor wie en
onder welke condities? Voor beleid • Oog voor de (o.a. sociale, economische en capacitaire) context
bij de keuze & implementatie van interventies • Oog voor ‘fouten’ en ‘short cuts’ in waarneming en beslisgedrag
doelgroepen • (in de VS:) vereenvoudiging van (communicatie van) regels,
‘default’ regels, aanhaken op saillante voorbeelden in campagnes
• Inzet en gebruik van ex ante onderzoek
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
27
Ex ante onderzoek • Steeds meer aandacht voor effectief beleid • Eerder onderzoek: ex ante evaluatie gebeurt niet zo vaak (en niet
goed genoeg)
• Inmiddels vele toetsen • Kaders: RPE ( Rbv 2008) en IAK (2011)
• Wetenschappelijke inzichten over (verplicht) ex ante onderzoek• Nederland • EU
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
28
UitvoerdersIntern
4%
Uitvoerings-organ-isatie7%
Planbureau(s) of wetenschappelijk overheidsinstituut
12%
Extern wetenschappelijk orgaan
14%
Particulier onderzoeks- of adviesbureau
43%
Adviescommissie of Raad4%
Mengvorm14%
Onafhankelijke stichting2%
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
29
Stadium van beleid & onderzochte alternatieven• Hoe verder de planvorming, hoe minder mogelijke doorwerking
• Stadium niet exact te bepalen o.b.v. de rapporten
• 85% vond plaats voorafgaand aan de besluitvorming• Daarvan ogenschijnlijk het meeste ‘ergens halverwege’ het
ontwikkelingstraject• 15% na nemen besluit verricht
• Deels uitvoeringsanalyses, maar ook klein aandeel studies over doelbereiking / alternatieven
• Gemiddeld zijn 3,4 alternatieven bestudeerd• Afhankelijk van opdrachtgever en uitvoerder • Na besluitvorming toch nog 1,8 opties
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
30
Typen studiesEx ante eval-
uatie13%
(M)KBA16%
Verkenning16%
Uitvoe-ringsanalyse
11%Risicoanalyse
1%
Planevaluatie2%
Specifiek14%
KEA1%
Combinatie25%
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
31
Uitgelicht: (M)KBA’s
• Verschillende doelen en alternatieven samenbrengen in één analyse
• Op zijn minst projectalternatief en (nul)optie vergelijken op kosten en baten
• In MKBA ook maatschappelijke kosten en baten verdisconteerd • Zo mogelijk in geld uitgedrukt (gemonetariseerd) • Uitmondend in een saldo • Bandbreedte rond dit saldo afhankelijk van scenario
(gevoeligheidsanalyses)
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
32
Voorbeeld: MKBA langer zwangerschaps- en bevallingsverlof • Beleidsalternatieven: 20 en 18 weken verlof. Nuloptie: 16 weken
(huidige situatie)• Directe, indirecte en externe effecten vertaald naar kosten en baten
• Direct: kosten en baten voor de (a.s.) moeders, werkgevers, overheid • Indirect: o.a. uitstel van kinderopvanggebruik • Extern: bijv. gezondheidseffecten door langere borstvoedingsperiode
• Ervaringscijfers: literatuuronderzoek (buitenland) • Uitdrukken in eenheden, volume, monetaire eenheden (waarderingsmethode)
• Conclusie: negatief maatschappelijk saldo • Bandbreedte wel groot
• Effecten uitsplitsen naar actoren • Aanknopingspunten voor beleidsoptimalisatie
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
33
Uitgelicht: Ex ante evaluaties van potentiële effectiviteit • Kan het doel met voorziene instrumentarium cq. alternatieven
bereikt worden? • Kunnen met ‘Schoon & Zuinig’ de ‘coalitiedoelen’ versnelling
energiebesparing (2%), een groter aandeel hernieuwbare energie (20%) en minder CO-2 uitstoot (30%) worden bereikt?
• In hoeverre dragen convenanten bij aan de effectiviteit van energiebeleid? (literatuur, OESO-data en gevoeligheidsanalyses)
• Vaak een mix van onderzoeksmethoden; in 50% kwantitatief onderzoek
• De systematische KEA en de ‘planevaluatie’ sluiten op deze vragen aan, maar komen niet vaak voor
• Beleidswetenschappelijke methode • ‘Arenamodel’
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
Gebruik van ex ante onderzoek in de praktijk• Redelijke mate van kennisname door bijv. Kamerleden,
bewindspersonen, het veld
• Wisselende mate van standpuntbeïnvloeding / discussie• Soms kwam de ex ante studie daarvoor te laat • Dezelfde – onzekere – bevindingen zijn gebruikt om bijv. zowel
het SP- als het VVD-standpunt te onderbouwen
• (Enige) doorwerking in 3 van de 5 onderzochte gevallen; in de 2 andere cases was sprake van: • Nieuwe minister, van een andere partij• Val van het kabinet-Rutte I
34
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
Wat verklaart gebruik van ex ante onderzoek? Besluitvormingscontext
• Relatie evaluatie – wetgeving niet 1 op 1; evaluatie geen receptenboek
Timing • Beleidscyclus ≠ looptijd onderzoek
Contact ‘opdrachtgever- opdrachtnemer’
• bijv. in begeleidingsscommissie of klankbordgroep
Evaluatiekwaliteit
Begrijpelijkheid en verspreiding
Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014
36
Vragen • Eigen ervaringen / praktijken met ex ante en ex post evaluatie?
• IAK?
• Wat kan de bijdrage zijn van ex ante onderzoek op uw werkgebied (of breder)? / Wat zijn redenen om ertoe over te gaan?
• Wat voor (soort) vragen zouden dan vooral gesteld moeten worden?
• Wanneer is het te laat voor ex ante onderzoek; wanneer is het te vroeg?
• Wat zijn redenen om niet tot evaluatie over te gaan?