Welke lessen kunnen we trekken uit evaluaties

Welke lessen kunnen we trekken uit evaluaties...

...met het oog op effectieve weten regelgeving?

Carolien Klein HaarhuisWODC

23 april 2014

Welke lessen kunnen we trekken uit evaluaties? | 23 april 2014

Kort iets over het WODCWetenschappelijk onderzoek- en documentatiecentrum van het ministerie van Veiligheid en Justitie www.wodc.nl

• Semi-onafhankelijk, onderzoek op aanvraag van & in dialoog met het ministerie (onderzoeksprogramma)

• Meer dan de helft wordt door WODC weer uitbesteed • Ruim 100 werknemers• Jaarlijks ruim 100 rapporten en evenzoveel artikelen (50% peer

reviewed) • Tijdschrift Justitiële Verkenningen (JV)• WODC-Infodesk: bijna 500 informatievragen • Jaarlijks enkele honderdduizenden unieke bezoeken website

http://www.wodc.nl/

http://www.wodc.nl/


3

Wetgeving in NederlandVastleggen van instituties, bevoegdheden, geldstromen• Waarborgdoelen (bijv. rechtszekerheid, rechtsgelijkheid,

proportionaliteit) • Instrumentele doelen (bijv. meer aanbod van donororganen

bewerkstelligen)

• De meeste wetten zijn complex van samenstelling• Behelzen niet één, maar meerdere ‘interventies’ – o.a. concrete

verplichtingen/verboden, sancties, kaders, subsidies...

• Vaak meerdere normaddressaten • Bijv. gemeenten, ziekenhuizen, scholen, bedrijven, burgers • Bijv. Awgb, Wod, Wet Tweede Fase


Voorbeeld van complexe wet: Wet Tweede Fase Uiteenlopende instrumenten:

• Vakkenprofielen• Nieuwe examenprogramma’s• Zelfstandig leren • Meer loopbaanoriëntatie, etc.

3 doelen: 1. Modernisering onderwijsprogramma bovenbouw2. Aansluiting Middelbaar (HAVO / VWO) met Hoger

Onderwijs verbeteren 3. Meer autonomie school in keuze werkvormen


Wetgeving in Nederland: een paar cijfersMedio april 2014:

• 1.958 wetten in werking • 2.257 AMVB’s • 5.278 Ministeriёle regelingen

‘Het totale aantal regelingen is tussen 2005-2013 stabiel gebleven’ (Brief minister aan TK, 12 september 2013)


Waarom evalueren? • Complexe wetgeving & complexe praktijk • Leren (wat kan beter?)• Transparantie, verantwoording afleggen • Wet van de afnemende meeropbrengsten van beleid / wetgeving

(meer van hetzelfde is niet altijd beter) • Reductie van ‘mediapraat’, ‘van horen zeggen’, ‘belangengroep-

verhalen’

Andere (politieke) doelen: • Uitstel van besluitvorming – of juist doorduwen• ‘Munitie’ in het debat • Verdediging van gemaakte beleidskeuzes• ...


Soorten evaluatie• Ex ante: toekomstgericht / beleidsvoorbereiding • Ex post: terugkijkend• Ex durante: gaandeweg (leren)

• Procesevaluatie: proces van in (en uit-)voering • Effectiviteitsevaluatie / effectenevaluatie: doel / neveneffecten • Monitoren: maatschappelijke (doel)indicatoren

• Meta-onderzoek & evaluatiesyntheses: bestaande evaluaties als gegevensbron voor de beantwoording van nieuwe / overstijgende vragen


8

Effectiviteitsevaluatie: twee benaderingen Campbell (Collaboration) De experimentele invalshoek. Wat werkt?

•Test beleid en wetgeving als in een ‘laboratorium’: contextuele invloeden worden uitgeschakeld

•Attributief: zijn veranderingen op de doel-indicator ook echt aan de wet / het beleid in kwestie toe te schrijven?

Realist evaluation (o.a. Pawson, 2003/6; Pawson & Tilley, 1997)

•Wat-werkt-benadering niet altijd realistisch. Hoe ga je om met complex beleid? Hoe verklaar je gemengde uitkomsten?

•Contributief: hoe werken interventies (in wetten) welke mechanismen (M) triggeren uitkomsten (O) en onder welke condities (C) gebeurt dat? C-M-O heuristiek

•Mechanismen vaak verborgen (bijv. zwaartekracht, psychologische processen, afwegingen door mensen, groepsprocessen)


Experimenteel design à la Campbell

T0e X T1e

T0c … T1c

Waarbij T (T0, T1) staat voor tijdstip meting (resp. nulmeting en nameting), X voor de interventie (bijv. wetswijziging), e voor experimentele groep en c voor controlegroep.


Realist evaluation (CMO): HOE werken wetten?

.-

CONTEXT- Factoren die de werking van

de wet beïnvloeden- Bijv. kenmerken doelgroepen

of economische factoren

MECHANISMEN- (Beoogde) Keten van gedragsreacties - Langs welke schakels?

Wet Outcome


Synthese wetsevaluaties (WODC, 2008) Hoe staat het met de onderzoekstechnische kwaliteit van

wetsevaluaties? Wat leren we over de aard en werking van de geëvalueerde

wetten? Welke typen interventies bevatten wetten? Doelbereiking/ effectiviteit? Tussengelegen processen? Invloeden vanuit de context?


Nederlandse wetten: typen interventies ‘Bestuursinstrumenten’: 80% (kaders, instructies)

• Voorbeeld: Wet op de Basisvorming

Juridische interventies: Handhaving: 59%. Vooral richting burgers en bedrijven.

• Voorbeelden: Ontnemings (Pluk-Ze) wetgeving, Mededingingswet

Financiёle prikkels: 10%. Vooral voor burgers en bedrijven • Voorbeeld: Wet Inkomstenbelasting, Wet Ink.vz. Kunstenaars


Doelbereiking

• 41 uit 58: ‘middelmatig’ • 11: relatief hoog• 6: relatief gering

Meeste doelbereiking in geval van:• Wetten die louter uitvoerders adresseren • Kwaliteit van proces van invoering en

uitvoering/handhaving • Meer tijdsverloop tussen invoering en evaluatie • Ambitieniveau


C-M-O in de evaluatiepraktijk ... • Veel beschrijvingen van het implementatieproces (de invoering

en deels de tenuitvoerlegging) • Relatief veel over Uitkomsten (O)

• ... echter weinig over Mechanismen (M): Gefragmenteerde beschrijvingen van de verdere dóórwerking op de doelgroep

• Bijv. HOE leiden de vele instrumenten in de Wet Tweede Fase nu precies tot kwaliteitsverbetering?

• Gefragmenteerde informatie over Contexten (C)


Beoogde werking in wettenInstitutionele mechanismen, gericht op organisaties met publieke taak • Zelfsturing, checks and balances, integrale aanpak, regierol,

organisatorische ingrepen, versobering en transparantie

Sociale mechanismen, gericht op burgers en bedrijven

• Rechtshandhaving, rechtsbescherming, financiële prikkels, communicatie


Werkingsprocessen in werkelijkheid

• Personen, bedrijven, uitvoerders kennen de wet niet altijd (direct) goed

• De uitvoering stokt of verloopt traag; coördinatie- en capaciteitsproblemen (vgl. Nas et al. 2011)

• Autonomie en maatwerk lieten te wensen over; personeelsproblemen; problemen in de samenwerking tussen organisaties (taakverdeling, informatie-uitwisseling)

• Evaluaties komen vaak (te) vroeg, waardoor uitvoering nog niet is voltooid en werking niet is opgetreden


Voorbeeld: rechtshandhaving in theorie

• Een afdwingbaar ge- of verbod (interventie)• bijv. met sancties (straf- /bestuursrechtelijk)• of via de civiele rechter

• Zou moeten leiden tot (generaal- en specifiek)preventieve werking (M)

• En zo ongewenst gedrag voorkómen of terugdringen (O)

• Niet alleen op burgers/ bedrijven, maar ook op uitvoerenden Bijv. aansturing van (huis)artsen


Rechtshandhaving: de werkelijkheid

• Sancties worden in de praktijk nauwelijks opgelegd controle- en detectiekansen zijn klein

• Preventieve werking is gefragmenteerd: hier wel, daar niet • Niettemin is veel naleving bereikt

Hoe dit laatste te verklaren?


19

Werking in de praktijk: andere voorbeelden

• WMCZ: erosie van bestaande medezeggenschapstructuren ‘crowding out’

• Wvgs: spontane naleving vanwege grote bedrijfsmatige risico’s

• Veerman (2013) vond dat de doelbereiking van wetgeving toeneemt met:

•Consultatie •Inzet van toezichts- en handhavingsbevoegdheden •Nalevingsgerichte handhaving•Naleving


Context Omgevingscondities die het slagen of falen van wetten beïnvloeden

Werkelijkheid:

• Grote verschillen in succes tussen gemeenten, regio’s en groepen mensen

• Grote instellingen en bedrijven ’doen het beter’

• Flankerende wetten en regels werken volgens veel evaluaties ‘complicerend’


Voorbeeld: Basisvorming Bestuurlijke contextAndere, gelijktijdige hervormingsoperaties (2e fase / Studiehuis) Schoolbesturen en leraren zijn overbelast, er is (te) weinig

capaciteit voor uitvoering

SchoolcontextVerschillen in resultaat tussen grote en kleine scholen & resultaatverschillen tussen vakken Individuele contextKwaliteitsbewustzijn bij leraren maakt verschil


Context in de praktijk op 3 niveaus

Macro: samenleving/economie, wetten & regels •Groei, afname, fusies •Aanpalende wetten en regels, EU-regelgeving

Meso: organisaties & netwerken •Omvang organisaties•‘Bestuurscultuur’

Micro: individuen, gevallen •Startniveau (bijv. nieuwkomers, scholieren, leraren) •Type crimineel (bijv. bij Pluk-ze), omvang van het bedrijf


Context (het veld) uiterst divers, zo ook werking en doelbereiking

Wet/ interventie

Doel


Aannames die zijn uitgedaagd • Wet = naleving

• Wetten leiden tot Weten…• ...en Weten leidt tot Doen

Veerman (2013): weten, willen en kunnen zijn – gelet op de empirie – inderdaad cruciaal voor doelbereiking

• Normadressanten maken kosten-batenafwegingen & handelen daar ook naar, bijv.

•Calculeren detectie-, pak- en sanctiekans •Zijn gevoelig voor financiële prikkels

Mensen gebruiken vuistregels en zijn gebiased, zijn sociale en emotionele wezens, etc. Niettemin: wetgeving heeft een ordenende functie, dus kan daar niet altijd van uitgaan

• Regelgeving werkt overal op dezelfde manier / in dezelfde mate

De context is dus van belang maar ook complex en divers; wordt nooit helemaal gekend

http://www.wodc.nl/


25

Mechanismen van menselijk gedrag

....die van belang kunnen zijn voor de werking van wetten (Veerman, 2013:73)

• Betrokkenheid op het directe eigenbelang, moral hazard, shadow of the future

• Sociale druk, imitatie, group think, gewoonte • Verliesaversie • Angstreductie • Padafhankelijkheid, reductie van cognitieve dissonantie • Informatiereductie • Respect


Naar Evidence Based wetgeving? Voor beleid & onderzoek • Open de black box: hoe werkte ‘t / moet ‘t werken, voor wie en

onder welke condities? Voor beleid • Oog voor de (o.a. sociale, economische en capacitaire) context

bij de keuze & implementatie van interventies • Oog voor ‘fouten’ en ‘short cuts’ in waarneming en beslisgedrag

doelgroepen • (in de VS:) vereenvoudiging van (communicatie van) regels,

‘default’ regels, aanhaken op saillante voorbeelden in campagnes

• Inzet en gebruik van ex ante onderzoek

http://www.wodc.nl/


27

Ex ante onderzoek • Steeds meer aandacht voor effectief beleid • Eerder onderzoek: ex ante evaluatie gebeurt niet zo vaak (en niet

goed genoeg)

• Inmiddels vele toetsen • Kaders: RPE ( Rbv 2008) en IAK (2011)

• Wetenschappelijke inzichten over (verplicht) ex ante onderzoek• Nederland • EU


28

UitvoerdersIntern

4%

Uitvoerings-organ-isatie7%

Planbureau(s) of wetenschappelijk overheidsinstituut

12%

Extern wetenschappelijk orgaan

14%

Particulier onderzoeks- of adviesbureau

43%

Adviescommissie of Raad4%

Mengvorm14%

Onafhankelijke stichting2%


29

Stadium van beleid & onderzochte alternatieven• Hoe verder de planvorming, hoe minder mogelijke doorwerking

• Stadium niet exact te bepalen o.b.v. de rapporten

• 85% vond plaats voorafgaand aan de besluitvorming• Daarvan ogenschijnlijk het meeste ‘ergens halverwege’ het

ontwikkelingstraject• 15% na nemen besluit verricht

• Deels uitvoeringsanalyses, maar ook klein aandeel studies over doelbereiking / alternatieven

• Gemiddeld zijn 3,4 alternatieven bestudeerd• Afhankelijk van opdrachtgever en uitvoerder • Na besluitvorming toch nog 1,8 opties


30

Typen studiesEx ante eval-

uatie13%

(M)KBA16%

Verkenning16%

Uitvoe-ringsanalyse

11%Risicoanalyse

1%

Planevaluatie2%

Specifiek14%

KEA1%

Combinatie25%


31

Uitgelicht: (M)KBA’s

• Verschillende doelen en alternatieven samenbrengen in één analyse

• Op zijn minst projectalternatief en (nul)optie vergelijken op kosten en baten

• In MKBA ook maatschappelijke kosten en baten verdisconteerd • Zo mogelijk in geld uitgedrukt (gemonetariseerd) • Uitmondend in een saldo • Bandbreedte rond dit saldo afhankelijk van scenario

(gevoeligheidsanalyses)


32

Voorbeeld: MKBA langer zwangerschaps- en bevallingsverlof • Beleidsalternatieven: 20 en 18 weken verlof. Nuloptie: 16 weken

(huidige situatie)• Directe, indirecte en externe effecten vertaald naar kosten en baten

• Direct: kosten en baten voor de (a.s.) moeders, werkgevers, overheid • Indirect: o.a. uitstel van kinderopvanggebruik • Extern: bijv. gezondheidseffecten door langere borstvoedingsperiode

• Ervaringscijfers: literatuuronderzoek (buitenland) • Uitdrukken in eenheden, volume, monetaire eenheden (waarderingsmethode)

• Conclusie: negatief maatschappelijk saldo • Bandbreedte wel groot

• Effecten uitsplitsen naar actoren • Aanknopingspunten voor beleidsoptimalisatie


33

Uitgelicht: Ex ante evaluaties van potentiële effectiviteit • Kan het doel met voorziene instrumentarium cq. alternatieven

bereikt worden? • Kunnen met ‘Schoon & Zuinig’ de ‘coalitiedoelen’ versnelling

energiebesparing (2%), een groter aandeel hernieuwbare energie (20%) en minder CO-2 uitstoot (30%) worden bereikt?

• In hoeverre dragen convenanten bij aan de effectiviteit van energiebeleid? (literatuur, OESO-data en gevoeligheidsanalyses)

• Vaak een mix van onderzoeksmethoden; in 50% kwantitatief onderzoek

• De systematische KEA en de ‘planevaluatie’ sluiten op deze vragen aan, maar komen niet vaak voor

• Beleidswetenschappelijke methode • ‘Arenamodel’


Gebruik van ex ante onderzoek in de praktijk• Redelijke mate van kennisname door bijv. Kamerleden,

bewindspersonen, het veld

• Wisselende mate van standpuntbeïnvloeding / discussie• Soms kwam de ex ante studie daarvoor te laat • Dezelfde – onzekere – bevindingen zijn gebruikt om bijv. zowel

het SP- als het VVD-standpunt te onderbouwen

• (Enige) doorwerking in 3 van de 5 onderzochte gevallen; in de 2 andere cases was sprake van: • Nieuwe minister, van een andere partij• Val van het kabinet-Rutte I

34


Wat verklaart gebruik van ex ante onderzoek? Besluitvormingscontext

• Relatie evaluatie – wetgeving niet 1 op 1; evaluatie geen receptenboek

Timing • Beleidscyclus ≠ looptijd onderzoek

Contact ‘opdrachtgever- opdrachtnemer’

• bijv. in begeleidingsscommissie of klankbordgroep

Evaluatiekwaliteit

Begrijpelijkheid en verspreiding


36

Vragen • Eigen ervaringen / praktijken met ex ante en ex post evaluatie?

• IAK?

• Wat kan de bijdrage zijn van ex ante onderzoek op uw werkgebied (of breder)? / Wat zijn redenen om ertoe over te gaan?

• Wat voor (soort) vragen zouden dan vooral gesteld moeten worden?

• Wanneer is het te laat voor ex ante onderzoek; wanneer is het te vroeg?

• Wat zijn redenen om niet tot evaluatie over te gaan?


37

[email protected] 06 46891751

mailto:[email protected]

Documents

Welke lessen kunnen we trekken uit evaluaties