34
ID-lab Data kennis Informatie Python en R. LivingLab textmining Algoritme Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 Koers ILT 2021 remote sensing Datanerds 80% DDC CIO Office 140.000 Stoplichtmodel Innovatielab

Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

  • Upload
    others

  • View
    0

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

ID-lab Datakennis

InformatiePython en R.

LivingLab

textmining

Algoritme

Best Practices Innovatieve voorbeelden van datagebruik binnen het RijkInterviewreeks 2018

Koers ILT 2021

remote sensing

Datanerds

80%

DDC

CIO Office 140.000

StoplichtmodelInnovatielab

Page 2: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 2

Inhoudsopgave

Groet! . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

Algoritmen voor het opsporen van seksueel misbruik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

Minder risico’s in de binnenvaart: zo werkt het ID-lab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

Denken vanuit data: een nieuwe mindset voor EZK en LNV . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

Stoplichtmodel Belastingdienst: sneller een betalingsregeling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

Innoveren binnen het CJIB: denk groot, begin klein . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

Welke impact heeft het weer? KNMI-weersverwachting nieuwe stijl . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

Voorspelbaar onderhoud bij Rijkswaterstaat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

Page 3: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 3

Groet! Data, het lijkt een toverwoord. Een datagedreven overheid. De inzet van data bij beleid, uitvoering, bedrijfsvoering en toezicht kunnen leiden tot efficiëntere en goedkopere processen. Hoe we data innovatief inzetten bij de Rijksoverheid? Dat lees je hier in deze uitgave, in zeven portretten. De Rijksoverheid is een informatie- en datarijke organisatie, ik denk bijvoorbeeld aan de Belastingdienst, Rijkswaterstaat en de Inspectie Leefomgeving en Transport. Organisaties die data gebruiken in al hun processen. Diverse overheidsorganisaties innoveren door datalabs te starten, te werken met slimme sensoren en nauw samen te werken met het Centraal Bureau voor de Statistiek. Dat levert ons betere en geavanceerdere analyses op. Met de kamerbrief ‘Data laten werken voor gezondheid’ (november 2018) laat het ministerie van VWS bijvoorbeeld zien hoe data aan de basis staan van een nog betere gezondheidszorg. En ook het initiatief ‘Innoveer mee met JenV’ is een prachtig voorbeeld van datatoepassingen bij het Rijk. Begin 2019 biedt de minister van BZK aan de Tweede Kamer de Strategische I agenda 2019-2021 en de Data Agenda Overheid aan. Twee producten waarin aandacht is voor het (veilig) omgaan met data. En zo zijn er nog meer voorbeelden, teveel om hier te noemen. Ik ben blij met deze ontwikkelingen, het sluit aan bij een van de speerpunten van DG Overheidsorganisatie (DGOO): een innovatieve en efficiënte overheid. Daarom laten we in deze publicatie een zevental innovatieve voorbeelden van datagebruik binnen de Rijksoverheid zien, ook van het Centraal Justitieel Incassobureau, het Koninklijk Nederlands Meteorologisch Instituut, de ministeries van EZK en LNV samen en de Raad voor de Kinderbescherming. Om te inspireren, te motiveren om aan de slag te gaan met data. De Rijksoverheid is groot en er liggen veel kansen om te innoveren. Doe je mee? Marieke van WallenburgDirecteur-generaal Overheidsorganisatie (BZK)

Page 4: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 4

Algoritmen voor het opsporen van seksueel misbruik

Jannie Busschers, informatiemanager en verantwoordelijk voor het data-innovatieteam bij de Raad voor de Kinderbescherming

Page 5: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 5

Seksueel misbruik van kinderen is doorgaans moeilijk op te merken. Ook voor de Raad voor de Kinderbescherming die opkomt voor de belangen van het kind. Binnen de organisatie bestaat een duidelijke behoefte om dit probleem aan te pakken, om het misbruik beter en vaker op te merken. Het idee ontstond om te experimenteren met algoritmen. Jannie Busschers, informatiemanager en verantwoordelijk voor het data-innovatieteam bij de Raad voor de Kinderbescherming, vertelt hierover.

Aan de slag binnen de veilige kaders van het Big Data LivingLab en Competence Network (LivingLab)Het ministerie van Justitie en Veiligheid (JenV) heeft eind 2016 het LivingLab opgezet om de schaarse expertise op het terrein van big data en data-analyse te bundelen en te versterken. Het LivingLab voert experimenten uit om de mogelijkheden van een meer informatie-gestuurde werkwijze te onderzoeken, en meerwaarde uit de huidige databronnen en gegevens te creëren. De Raad voor de Kinderbescherming was een van de eerste organisaties die meedeed aan het LivingLab. Jannie: “Er bleek een discrepantie tussen de schattingen uit wetenschappelijk onderzoek en de aantallen die wij registreerden. We misten toch nog kinderen die ermee te maken hebben. Dit gegeven was voor ons een belangrijke motivatie om te onderzoeken of een algoritme een bijdrage kon leveren aan het opsporen van seksueel misbruik van kinderen.”

“We wilden ontdekken wat er gebeurt als je met een onbevangen blik kijkt.”

Een samenwerking met het LivingLab bood uitkomst. Deelname had voor de Raad voor de Kinderbescherming meerdere doelen. Jannie: “Allereerst hoopten we aanwijzingen te vinden voor seksueel misbruik die tot dan toe onopgemerkt bleven, puur door anders naar de data te kijken. Daarnaast hadden we het vermoeden dat data-analyses veel voor de Raad voor de Kinderbescherming konden betekenen. Bovendien boden de veilige kaders van het LivingLab – die de knowhow in huis heeft – de zekerheid dat we vragen op het gebied van privacy, ethiek en juridische kaders ook zouden kunnen beantwoorden.”

KINDgedreven in plaats van datagericht werkenDatagericht werken is een uitdrukking die je veel hoort, maar die Jannie niet bij de Raad voor de Kinderbescherming vindt passen. Jannie: “Wij hebben daarom een denkmodel ontwikkeld dat uitgaat van KINDgedreven werken, waarbij KIND staat voor Kennis, Informatie en Data. We hebben voor elk kind telkens maar één kans en dan moeten we

Page 6: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6

precies weten wat het beste is om te doen. We realiseren ons dat de kennis van onze professionals essentieel is voor onze maatschappelijke opdracht. Informatie is een belangrijke grondstof voor die kennis en de besluitvorming van onze professionals en data kan informatie worden.”

Jannie legt aan de hand van de stappenteller uit waarom zij ‘datagericht werken’ geen passende term vindt. “Een stappenteller is van zichzelf een neutraal instrument dat data oplevert. Het geeft slechts weer hoeveel stappen je hebt gezet. Meer niet. Maar een gebruiker heeft er een intentie mee. Vaak is dat meer bewegen, gezonder leven of afvallen. Ik ontdekte dat de effectiviteit van de stappenteller tegenviel, want mensen belonen zichzelf met eten als ze genoeg stappen hebben gezet of ze troosten zichzelf met eten als ze hun doel niet hebben gehaald. De intentie van het instrument wordt daardoor niet behaald. Dat zette me aan het denken over de wisselwerking tussen data en besluitvorming. Data beschikbaar stellen alleen is niet voldoende. Het is ook belangrijk na te denken over de wijze waarop de data kan helpen om de intentie te realiseren.”Jannie legt de consequenties van het denkmodel uit voor het resultaat van het project: “Aangenomen werd dat we een vlaggetjessysteem of dashboard zouden maken. Maar we hebben ervoor gekozen om die keuze uit te stellen en de focus eerst te leggen op de inhoud en het leren analyseren. Daarna onderzoeken we wat het beste past om onze professionals te helpen bij hun werk. Zo creëren we de meeste waarde.”

“De term datagericht werken vind ik niet bij de Raad voor de Kinderbescherming passen.”

De ontwikkeling van het algoritmeDe Raad voor de Kinderbescherming komt in beeld als het ouders samen met hulpverlening niet meer lukt om kinderen veilig te laten opgroeien en als ingrijpen van overheidswege wordt overwogen. De Raad voor de Kinderbescherming onderzoekt of ingrijpen inderdaad noodzakelijk is en maakt de gang naar de rechter. Tijdens zo’n onderzoek wordt systematisch in kaart gebracht wat er speelt op alle leefgebieden van een kind, zoals de gezinsrelaties, geestelijke gezondheid, huisvesting en inkomen. Daarvoor wordt informatie verzameld bij de ouders en iedereen die bij het kind betrokken is, zoals de huisarts, leerkrachten, hulpverleners en politie.

Page 7: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 7

De Raad voor de Kinderbescherming beschikt dus over veel waardevolle informatie. Jannie: “We werken met een informatiesysteem en vragen aan onze professionals om daarin alles te registreren. Met deze informatie zijn we aan de slag gegaan, samen met data scientists van het Nederlands Forensisch Instituut (NFI). Daar was via het LivingLab de capaciteit geregeld om de analyses uit te voeren. We hebben bewust besloten geen deskresearch te doen naar factoren die volgens de wetenschap een rol spelen bij seksueel misbruik. We wilden namelijk leren van data-analyses an sich en ontdekken wat er gebeurt als je met een onbevangen blik kijkt. We hebben daarom alle informatie in de analyses betrokken.”

Controle versus acceptatieHet NFI testte de kwaliteit van het uiteindelijke algoritme. Het resultaat is boven verwach-ting goed: een Excel-lijst met dossiers die op volgorde zijn gezet met een waarschijnlijk-heidsscore én een dataset met tweeduizend woorden die het algoritme relevant acht. Nu komen er weer nieuwe vragen op om over door te praten met de uitvoering. Jannie: “Wat hebben we nu in handen? Hoe kunnen we dit verder brengen en hoe gaat dit helpen? We hebben al gemerkt dat valideren ingewikkeld is. We krijgen de vraag waarom het algoritme sommige dossiers boven andere plaatst. Dat is niet altijd makkelijk uit te leggen. Het gaat hier ook om vertrouwen. Precies controleren versus acceptatie. Maar ik vind de discussie terecht, want data is niet feilloos.”

Samen grote maatschappelijke problemen aanpakkenHet project heeft ook nog een ander inzicht opgeleverd. Jannie: “Ik heb het ontzettend leuk en waardevol gevonden om samen te werken met het LivingLab en het NFI. Ik denk dat het goed is voor de overheid om steeds meer over organisaties heen samen te werken. We hebben te maken met grote maatschappelijke problemen die al lang bestaan. Zulke problemen alleen oplossen gaat waarschijnlijk niet werken. Zo breed en nieuwsgierig mogelijk kijken heeft naar mijn overtuiging meer kans van slagen.”

Page 8: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 8

Voor de datanerds

Het NFI heeft Natural Language Processing toegepast op de dossiers van de Raad voor de Kinderscherming. Allereerst is een subset gemaakt van alle dossiers die in de analyse als non-target (geen sprake van seksueel misbruik) zijn aangemerkt om een scheve verdeling tussen targets en non-targets te voorkomen.

Veel voorkomende woorden en voornamen zijn uit de dossiers verwijderd. Er zijn twee modellen getest: een model met zaakwoorden (zoals seksueel, misbruik en grensover-schrijdend) en een model zonder zaakwoorden.

Unigrammen, bigrammen en trigrammen zijn gebruikt als features. Features die in meer dan 80% van de dossiers voorkomen, zijn verwijderd. Vervolgens is term frequency-inverse document frequency (tf-idf) toegepast om te corrigeren voor de lengte van de dossiers. Het maximumaantal features is gesteld op tweeduizend.

Er is een logistische regressieanalyse toegepast. Het model zonder zaakwoorden behaalde een AUC van 0.87, het model met zaakwoorden behaalde een AUC van 0.95. Het NFI ziet nog verschillende mogelijkheden om de analyse te verbeteren.

Tips van Jannie:

1. Maak voelbaar wat je project voor de organisatie kan betekenen. Zorg voor een goed inhoudelijk verhaal dat mensen raakt.

2. Het begint en eindigt met samenwerking met de business. Zorg dat je doel steeds ten gunste is van de uitvoering.

3. Doe geen aannames. Stel bij alles wat je ziet continu de volgende vragen: is dat zo? Moet ik dat inderdaad doen? Is dat inderdaad de juiste stap om te nemen? Hebben we inderdaad voldoende checks gedaan? Hebben we het vraagstuk echt van alle kanten bekeken?

4. We moeten als data scientists meer met ethiek. We hebben op dit terrein meer inzichten nodig om de vragen die op ons afkomen te beantwoorden.

Over de Raad voor de Kinderbescherming

Als een kind ernstig in de knel dreigt te raken, helpt de Raad voor de Kinderbescherming om samen met het kind en de ouders de beste oplossing te zoeken. Alleen als het echt niet anders kan, wordt de rechter erbij betrokken, maar het draait altijd om het belang van het kind. Dat kan onder andere omdat de Raad voor de Kinderbescherming de rechter onafhankelijk adviseert.

Page 9: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 9

Minder risico’s in de binnenvaart: zo werkt het ID-lab

Tony Liebregts, hoofd ID-labDirk Jan Oostwoud Wijdenes, GIS-specialist

Page 10: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 10

Het innovatie- en datalab (ID-lab) heeft inmiddels een vaste positie in de nieuwe organisatie van de Inspectie Leefomgeving en Transport (ILT). Data scientists van het ID-lab helpen de ILT om het datagedreven toezicht te versterken en pakken de maatschappelijke uitdagingen aan waarmee de organisatie wordt geconfronteerd. Hun benadering is zowel vraaggericht als datagestuurd. Oftewel: de data-experts behandelen vragen van de business en zoeken ook op eigen initiatief naar patronen. Tony Liebregts, hoofd ID-lab, en Dirk Jan Oostwoud Wijdenes, GIS-specialist, geven een toelichting.

2021: meer maatschappelijke impactDe ILT heeft enkele jaren geleden een koerswijziging ingezet, onder de naam Koers ILT 2021. De ambitie: meer maatschappelijke impact en een risico- en informatiegestuurde werkwijze. Die werkwijze moet ervoor zorgen dat de ILT haar mensen en middelen kan inzetten waar de risico’s voor publieke belangen het grootst zijn. Begin 2017 kreeg Tony de opdracht van het directieteam om de analysefunctie van de ILT te versterken. Tony: “Als voorloper op de aanstaande verandering wilde de directie een centraal team formeren, dat alvast begon met het genereren van informatie uit data om zo sturing te geven aan de organisatie.”Data-analisten uit de bestaande organisatie werden samengebracht en er werden nieuwe mensen aangenomen. Zo ontstond een team van dertien medewerkers, met expertise op het gebied van machine learning, textmining, geografische informatiesystemen, remote sensing en gedragswetenschap. Tony: “Ons doel is innoveren, experimenteren met data, nieuwe toepassingen vinden en producten maken voor de organisatie waarmee we op een andere manier naar de wereld kijken.”

”We opereren binnen de marges van de privacyregels en we anonimiseren zoveel mogelijk.”

Werken vanuit de vraagHet ID-lab benadert het werk vanuit twee invalshoeken. De eerste is vraaggericht. Dirk Jan: “We hebben regelmatig brainstormsessies met inspecteurs en vragen naar de problemen waarmee zij te maken hebben. Ze benoemen natuurlijk ook zelf vraagstukken. We analyseren het probleem zorgvuldig, komen tot de kern. Vervolgens onderzoeken we welke gegevens beschikbaar zijn, welke data we eventueel kunnen toevoegen en wat we voor hen kunnen betekenen.” Hij beschrijft een voorbeeld van de vraaggerichte invalshoek. Het ID-lab kreeg een verzoek van het Analysebureau Luchtvaartongevallen (ABL) van de ILT. Het ABL registreert en analyseert de verplichte meldingen van voorvallen in de Nederlandse burgerluchtvaart.

Page 11: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 11

De vraag was: zijn er patronen in de voorvallen die wij over het hoofd zien? Dirk Jan: “De meldingen zijn er in allerlei vormen: pdf-rapporten, websites en andere stukken tekst, in verschillende talen, ingevoerd door verschillende maatschappijen. We hebben textmining toegepast op die meldingen. Op basis daarvan brachten we de hotspots van meldingen op Schiphol in kaart. We ontdekten dat er een locatie was op Schiphol, waarvandaan veel meldingen over bijna-ongevallen kwamen. Een waardevolle bevinding.”

Werken vanuit de dataDe tweede benadering start vanuit de data. Tony: “Dan beginnen we niet met een vraag, maar met een dataset. Een data scientist bestudeert de data en gaat op zoek naar patronen. Hieruit volgen verwonderpunten die hij bespreekt met de inspecteur. Sommige van die punten leiden tot nieuwe inzichten.” Bij deze datagestuurde invalshoek experimenteert het ID-lab met onder meer de mogelijkheden van remote sensing. “Zo ontdekten wij bijvoor-beeld dat een inspecteur voor bodemtoezicht satelliet- en radarbeelden kan gebruiken om te zien wat er in het verleden op een bouwlocatie heeft plaatsgevonden.” Bij het experimenteren met data uit verschillende bronnen kan sprake zijn van priva cy-gevoeligheid. Vooral als het om eenmanszaken gaat. Tony: “Daar zijn we alert op. We opereren nadrukkelijk binnen de marges van de privacyregels en we anonimiseren zoveel mogelijk bij presentaties en publicaties.”

“De eerste uitkomsten zijn nog niet perfect, maar wel zeer bemoedigend.”

Risicogestuurd toezicht op de binnenvaartDirk Jan vertelt over de stappen die het ID-lab heeft gezet op het gebied van risicogestuurd toezicht op de binnenvaart. “Er leefde een vraag op de werkvloer. Inspecteurs werken met een lijstje met het aantal te inspecteren schepen en besluiten dan zelf welke ze nemen. Kunnen we de inspecteurs helpen bij die keuze? Als je vermoedt welk schip niet voldoet aan een wet of norm, dan kun je dat schip eruit pikken.” Binnen de ILT worden alle inspectie-resultaten in het systeem Holmes opgeslagen. Deze informatie is niet direct geschikt voor analyse, maar toch is het ID-lab ermee aan de slag gegaan. “We beschikken over een paar jaar inspectieresultaten voor de binnenvaart. We kunnen precies zien welke schepen bepaalde overtredingen hebben begaan. Die gegevens combineren we met informatie over de grootte, de vracht, de eigenaar, de leeftijd, de diepgang van het schip en meer van dergelijke gegevens. Het resultaat? Een profiel van schepen met een hoog risico.”

Page 12: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 12

“De eerste uitkomsten zijn nog niet perfect, maar zijn wel zeer bemoedigend en bieden perspectief voor de toekomst”, concludeert Dirk Jan. “We willen hiermee verder en bekijken of we het model kunnen verbeteren. Daarvoor betrekken we meer data en proberen we andere analysetechnieken.”

Voor de datanerds

Deze binnenvaartcasus is een vorm van supervised learning. Het ID-lab paste verschillende modellen toe op de dataset, waaronder random forest en support vector machines. De laatste leverde, gelet op de Area Under The Curve (AUC), de beste voorspellingen op.

Het ID-lab werkt met name met Python en R.

Tips van Tony en Dirk Jan:

1. Doe data experimenten altijd in samenspraak met de business, in ons geval met de inspecteurs. Zij zijn de materiedeskundigen.

2. Trek zelf geen conclusies, maar deel je verwonderpunten.

3. Just do it. Begin. Anders komt het niet van de grond. Als je alles wilt dichtregelen, kom je niet van de kant af.

4. Wij streven naar een zekere mate van vrijheid bij de keuze voor wat we doen en hoe we dit doen. Je moet je altijd kunnen afvragen: wat is hier aan de hand? Als je een specifieke vraag krijgt, beperkt dit je focus. Als je meer onbevangen naar een probleem kijkt, zie je misschien dingen die ook belangrijk zijn.

Over de ILT

De ILT is de toezichthouder van het ministerie van Infrastructuur en Waterstaat. Ruim 1.100 medewerkers werken dagelijks aan veiligheid, zekerheid en vertrouwen in transport, infrastructuur, milieu en wonen.

Page 13: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 13

Denken vanuit data: een nieuwe mindset voor EZK en LNV

Annemijn van Gorp, manager medewerker CIO Office en coördinator bij het Departementaal Data Centrum.

Page 14: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 14

De I-Strategie van het ministerie van Economische Zaken en Klimaat (EZK) en het ministerie van Landbouw, Natuur en Voedselkwaliteit (LNV) is ontwikkeld om verschillende uitdagingen te adresseren die ontstaan door toenemende digitalisering. Een van de belangrijkste pijlers is het gebruik van data voor beleid, uitvoering en toezicht. “Ons grote doel is om medewerkers meer datagedreven te laten werken.” Annemijn van Gorp, medewerker CIO Office en coördinator bij het Departementaal Data Centrum (DDC), legt uit welke initiatieven hiertoe worden genomen.

Over het DDC

EZK en LNV waren de eerste ministeries (toen nog EZ) die gezamenlijk een DDC startten voor datagerichte projecten. Het DDC is een samenwerking met het Centraal Bureau voor de Statistiek (CBS). Organisatieonderdelen zoals de Rijksdienst voor Ondernemend Nederland (RVO), de Dienst ICT Uitvoering (DICTU), het Agentschap Telecom, de Nederlandse Voedsel- en Warenautoriteit (NVWA) en het Staatstoezicht op de Mijnen (SodM) werken ook mee.

Veertien experimentenBinnen het DDC gaan EZK en LNV samen met het CBS gezamenlijk datagerichte projecten aan, of liever gezegd: experimenten. Het DDC heeft in totaal veertien experimenten uitgevoerd waarvan het grootste deel inmiddels is afgerond en geëvalueerd. Dit zijn onderzoeken over onder andere mesttransporten, het bel-me-niet-register en populatiebronnen voor de biologische landbouw. Deze projecten ontstaan vanuit de behoeften van beleidsmakers. Door met hen te praten, ontdekt Annemijn welke (datagerichte) vraagstukken er spelen, met welke problemen de beleidsmakers zitten en waarmee zij bezig zijn in hun werk. “Als het erop lijkt dat er toegevoegde waarde zit in het werken met data, zetten we vervolgstappen. Waar kunnen we zinvolle data vinden? Bij het CBS? Of bij andere aangesloten organisaties? Misschien kunnen we helpen door data op te schonen of verschillende bronnen te combineren.”

“Hoe langer je met elkaar praat, hoe duidelijker de context en hoe waardevoller je informatie.”

Korte lijntjesHet CBS is in het verleden vaker in beeld geweest als datapartner van de departementen, maar het DDC maakt de samenwerking laagdrempelig. Annemijn legt uit dat de samenwerkings-overeenkomst met het CBS heeft geresulteerd in korte lijntjes. “Wij kunnen direct contact opnemen met onze contactpersoon als we een vraag hebben over een bepaald domein. Diegene checkt dan waar de expertise ligt bij het CBS en geeft mij een eerste terugkoppeling

Page 15: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 15

over de data waarover het CBS beschikt. Vervolgens breng ik beleidsmakers en de data-specialisten van het CBS samen om de mogelijkheden verder te verkennen. Die gesprekken zijn verhelderend. Want vaak komen ze dan samen achter ‘de vraag achter de vraag’. En dat is het leuke: naarmate je langer met elkaar praat, wordt de context duidelijker en blijkt nog meer informatie zinvol of waardevol. Voorheen werkten we met medewerkers van het CBS op basis van een aanvraag en een offerte, waarna ze wel of niet voor ons aan de slag gingen. Deze nieuwe laagdrempelige manier van samenwerken biedt veel meer ruimte voor gesprek en verkleint zo de afstand tussen beleidsmakers en data-analisten.”

“We ontplooien allerlei activiteiten om uiteindelijk van bewustzijn naar actie te komen.”

Soms zit er nog wel afstand tussen beleidsmakers en uitvoering dan wel toezicht. “Een belangrijk aandachtspunt”, stelt Annemijn, “want vaak is er bij uitvoering en toezicht relevante data beschikbaar waar beleid niet altijd weet van heeft. Dus we kunnen winst behalen in het bij elkaar brengen van deze drie. Daar zie ik een rol voor ons weggelegd. Als mensen vanuit de uitvoering bijvoorbeeld met een goed idee bij ons komen, dan kijk ik welke beleidsmedewerkers ik daarbij kan betrekken.”

Bewustzijn creëren met trainingen en activiteitenAnnemijn hoopt steeds meer bewustzijn over de toepassingsmogelijkheden van data te creëren bij medewerkers. Zo worden onder de vlag van de I-Strategie zogenoemde datadagen georganiseerd waar mensen kunnen leren van ervaringen van anderen en is er een training voor beleidsmedewerkers over datagedreven werken. “We ontplooien allerlei activiteiten om uiteindelijk van bewustzijn naar actie te komen. Beleidsmakers of beleidsmedewerkers hoeven natuurlijk geen data scientists te worden. Zo’n training is vooral bedoeld om de onderzoeksvaardigheden op te frissen en om de mindset te veranderen, om vertrouwder te raken met de mogelijkheden van data. Data is niet eng en dataspecialisten ook niet.”

Grotere beleidscasussenHet DDC begon met kleine experimenten of projecten. Het datacentrum is nu op het punt gekomen dat genoeg ervaring is opgedaan voor de volgende stap: het verder ontwikkelen van het datagedreven werken. Het DDC gaat daarom aan de slag met grotere beleidscasussen op verschillende beleidsterreinen. “Welke vragen komen voort uit de grotere casussen?

Page 16: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 16

En wat vraagt dat vervolgens van de organisatie? Hebben we bijvoorbeeld meer juridische krachten nodig die snel projecten kunnen ondersteunen? Wat moet je op datamanage-mentniveau doen en regelen? Dat is onze strategie: op grotere schaal experimenteren, om van daaruit te zien hoe de organisatie zich kan ontwikkelen.” Mest-IT is zo’n grotere casus. Daar is een fulltime projectleider opgezet om samen met het ‘mestteam’ te werken aan realtime data-oplossingen om fraude tegen te gaan. “Het beleid rondom mest is ingewikkeld, wat handhaving bemoeilijkt en fraude in de hand werkt. Dit project leent zich uitstekend om datagericht te werken. Welke data hebben we beschikbaar? En wat kunnen we daarmee?”

Tips van Annemijn:

1. Wil je iets met datagedreven werken doen? Ga vooral aan de slag met kortlopende projecten. Als dat goed gaat, kun je verder uitbouwen.

2. Ik denk dat agile werken, met sprints, goed is. Laat tussenresultaten zien, bespreek die met elkaar, en kijk dan wat dat betekent voor de vraagstelling en de behoefte.

3. Het is belangrijk om met een kerngroep geïnteresseerde en enthousiaste mensen te werken. Mensen die benieuwd zijn naar de mogelijkheden van werken met data.

4. Organiseer zaken zo laagdrempelig mogelijk, zodat dataspecialisten makkelijk benader-baar zijn. Dan kan een dialoog tussen dataspecialisten en beleidsmedewerkers op gang komen, zonder dat er meteen van alles moet.

5. Probeer in de dialoog open te staan voor vragen van de ander. Als de wil er aan beide kanten is, dan komen er hele leuke dingen uit.

Over de CIO Office

Het dataprogramma is eind 2016 vanuit de CIO Office opgericht om invulling te geven aan de datapijler van de I-Strategie van het ministerie van EZK en het ministerie van LNV. Binnen het dataprogramma zijn onder andere in de Data Board en in (project)teams rondom de verschillende datathema’s zo’n vijftig personen parttime actief. Het doel van het programma is om EZK- en LNV-breed medewerkers vanuit verschillende rollen en posities meer datagedreven te laten werken.

Page 17: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 17

Stoplichtmodel Belastingdienst: sneller een betalingsregeling

Jos Ebben, product owner namens het Landelijk IncassocentrumWouter Ludwig, data scientist bij Datafundamenten & Analytics

Page 18: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 18

Het besluit van de Belastingdienst om in termijnen te mogen betalen was in het verleden een tijdrovende bezigheid. Voordat er een beslissing viel, moesten tal van systemen worden geraadpleegd. Een bijzondere samenwerking tussen het Landelijk Incassocentrum en Datafundamenten & Analytics (DF&A) zorgt ervoor dat medewerkers van de Belastingdienst sneller kunnen vaststellen of iemand in aanmerking komt voor een betalingsregeling. Betrokkenen Jos Ebben en Wouter Ludwig geven tekst en uitleg.

140 .000 verzoeken per jaarJos Ebben is product owner namens het Landelijk Incassocentrum voor het project. Samen met het bedrijfsonderdeel IV Accent in Apeldoorn – waarbij IV staat voor informatievoorziening – houdt hij zich onder meer bezig met het ontwikkelen van datagedreven betalingsregelingen voor burgers. Wouter Ludwig is data scientist bij DF&A. Toen hij in 2014 op de afdeling kwam werken, waren er ongeveer 20 medewerkers. Inmiddels werken er 250 data scientists, business analisten en analytical programmers. En dat zullen er over een paar jaar 350 zijn.Waar hebben we het bij het onderwerp ‘betalingsregeling burger’ over? Een burger die in betalingsproblemen komt, kan bij de Belastingdienst een verzoek om uitstel indienen en een betalingsregeling aanvragen. Jaarlijks krijgt de Belastingdienst zo’n 140.000 uitstel-verzoeken. Daarvan hoort 40% tot de ‘aandachtgevallen’, de overige 60% zijn op zich goede betalers, maar zij hebben wel een betalingsregeling nodig. Jos: “We zochten naar een manier om de mensen die meer aandacht nodig hebben er sneller uit te kunnen halen en om mensen die altijd netjes betaald hebben eerder een betalingsregeling te kunnen toezeggen. Om dit proces te kunnen versnellen, wilden we het anders inrichten.”

“De impact van het stoplichtmodel op de samenleving is groot.”

Versnelling door stoplichtmodelDie versnelling is mogelijk gemaakt met het stoplichtmodel. Kortgezegd: groen is ‘akkoord’, oranje is ‘nader onderzoeken’ en rood is ‘afgewezen’. Dankzij dit model is snel duidelijk welke mensen in aanmerking komen voor een betalingsregeling. Bijvoorbeeld iemand met schulden en een laag inkomen die zorgtoeslag moet terugbetalen. Hij kan dat bedrag niet in één keer betalen, maar verspreid over twee jaar zou moeten lukken. Wouter: “Vroeger moesten medewerkers na een schriftelijk verzoek diverse systemen raadplegen om de betalingscapaciteit te berekenen. Daar waren ze al snel een half uur mee bezig. Nu zien ze direct dat iemand ‘groen’ is en duurt het proces nog geen zes minuten.”

Page 19: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 19

Het stoplichtmodel betekent een grote efficiencyslag: het werkt mee aan de doelstelling meer werk verzetten met minder mensen. Zo bespaart de Belastingdienst fte’s én wordt door snellere betalingsregelingen meer belasting geïnd.

Rood: motorrijtuigenbelastingMaar wanneer en voor wie staat het stoplicht eigenlijk op rood en is geen betalingsregeling mogelijk? “Voor een groot deel zijn dit mensen met een achterstand in hun motorrijtuigen-belasting”, vertelt Wouter. “Stel dat je iedere maand honderd euro moet betalen. Als je dan aan de Belastingdienst vraagt of je het bedrag van een maand over de twaalf volgende mag verspreiden, is het antwoord ‘nee’. Want de volgende maand moet je weer honderd euro betalen. Dat is trouwens een politieke beslissing geweest. Ook met mensen die bij ons als fraudeurs bekend staan, maken we geen betalingsafspraken.”

“Met mensen die bij ons als fraudeurs bekend staan, maken we geen betalingsafspraken.”

Het blijft mensenwerkHet algoritme in het systeem geeft dus groen, oranje of rood aan, maar het treffen van regelingen blijft wel mensenwerk. Medewerkers van het Landelijk Incassocentrum nemen – op voordracht van medewerkers aan de Belastingtelefoon – uiteindelijk de beslissing, niet het systeem. Neem mensen in de schuldsanering. Die krijgen na drie jaar kwijtschelding van hun restschuld. Met hen kan de Belastingdienst de afspraak maken dat ze een deel van hun schuld in twaalf maanden afbetalen, waarna het restant buiten invordering wordt gesteld. Dit zijn oranje gevallen. Dat geldt ook voor mensen die slecht betaalgedrag vertonen of die altijd te laat zijn met hun aangifte. Jos: “Met hen spreken we liever een loonvordering af via de werkgever. We zijn daar wel voorzichtig in, want we hebben gemerkt dat voor sommige werkgevers loonvordering aanleiding geeft tot ontslag.”

Impact op de samenleving is grootUiteindelijk wil de Belastingdienst naar de situatie toe dat de burger zelf op internet een verzoek tot een betalingsregeling indient en het systeem automatisch ‘ja’ of ‘nee’ antwoordt. Zover is de techniek nu nog niet – hoewel de business rules tamelijk eenvoudig zijn. In het systeem is vastgesteld bij welk bedrag betalingsregelingen mogelijk zijn of wanneer de Belastingdienst mag vorderen. De bedragen hangen af van leeftijd, gezinssamenstelling en individueel betaalverleden. Hoe eenvoudig ook, de impact van het stoplichtmodel op de

Page 20: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 20

samenleving is groot. Wouter: “Ga maar na. Als het model je verzoek om gespreid betalen ten onrechte niet inwilligt, kun je onterecht in de problemen komen. Dat moeten we zien te voorkomen.”

Tips van Jos en Wouter:

1. Zorg dat de afdelingen die de producten moeten ontwikkelen, alles zo veel en zo snel mogelijk met elkaar afstemmen, dat niet de ene partij nog aan het bouwen is terwijl de andere allang klaar is.

2. Besef waar je mee bezig bent, voordat je aan een project begint. Wij lieten onze data scientists een keer meeluisteren bij de Belastingtelefoon. Toen begrepen ze goed waar het om ging en wat het doel was van het project. Pas daarna doken ze de data in.

Over de Belastingdienst

De Belastingdienst draagt bij aan een financieel gezond Nederland. Ruim 27.000 medewerkers heffen, innen en controleren belastingen, zorgen voor het uitbetalen van toeslagen, verrichten douanetaken, en sporen fraude op in kantoren verspreid over het hele land.

Page 21: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 21

Innoveren binnen het CJIB: denk groot, begin klein

Marjolein Boonstra, adviseur strategie en lab-coördinator Henkjan Derks, directeur bedrijfsvoering en ICT

Page 22: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 22

Waardevolle innovaties uitdenken. Dat is het doel van het innovatielab van het Centraal Justitieel Incassobureau (CJIB). Een van de eerste onderwerpen waarmee het lab aan de slag ging is Debt Alert: een datagedreven aanpak rond de schuldenproblematiek bij het innen van verkeersboetes. Marjolein Boonstra, adviseur strategie en lab-coördinator, en Henkjan Derks, directeur bedrijfsvoering en ICT bij CJIB, vertellen hier meer over.

Innovatielab: een multidisciplinair teamHoe kunnen we slimme dingen bedenken om onze kerntaken beter uit te voeren? Die vraag wordt binnen het CJIB beantwoord door het innovatielab: een multidisciplinair team, met onder anderen data scientists, processpecialisten en veranderdeskundigen. Het lab is bewust geen aparte afdeling, en dat is best bijzonder binnen een hiërarchische organisatie als het CJIB. Marjolein: “Een innovatielab is een omgeving waarin mensen worden uitgedaagd om anders naar onderwerpen te gaan kijken. Dat lukt niet als je er een officiële afdeling van maakt. De teamleden staan nog met één been in hun eigen afdeling, we willen geen apart ideeënclubje zijn dat van alles verzint maar geen feeling heeft met de organisatie. We moeten de kennis en kunde van de afdelingen meenemen in de innovaties.”Als bestuurder geeft Henkjan het innovatielab alle ruimte om te experimenteren. “We stellen budget ter beschikking en faciliteren. Er mogen best ideeën mislukken, vinden we helemaal niet erg. Sterker nog, dingen moeten mislukken om uiteindelijk briljante oplossingen te krijgen.”

”Het privacyvraagstuk moet juridisch nog onder de loep worden genomen.”

Aanpak van schuldenproblematiekHet innovatielab zoekt oplossingen voor problemen waar het CJIB dagelijks mee te maken krijgt. Een daarvan is schuldenproblematiek. Iedere automobilist die een verkeersovertreding begaat, krijgt een beschikking. Ongeveer 5% van de overtreders betaalt de boete niet gelijk in één keer. Die krijgen een eerste en eventueel een tweede aanmaning. Betalen ze dan nog niet, dan komt de deurwaarder in beeld. Marjolein: “In deze groep zitten mensen die hun boete wel wíllen betalen maar het niet kunnen vanwege schulden.” Een lastig dilemma, want iedereen die te hard rijdt moet volgens het principe van de rechtsgelijkheid dezelfde straf krijgen. “Tegelijkertijd ligt er een maatschappelijke verant-woordelijkheid om mensen niet verder in de problemen te brengen”, zegt Henkjan.

Page 23: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 23

“Dus we zijn streng doch rechtvaardig aan de ene kant en maatschappelijk betrokken aan de andere kant.” De afgelopen jaren zijn al stappen gezet om het proces rond inning en incasso meer gepersonaliseerd aan te pakken, zodat het CJIB een bijdrage kan leveren aan het verminderen van oplopende schulden. Zo is het sinds 2015 mogelijk om een boete in termijnen te betalen. Het CJIB treft nu ongeveer vijfduizend betalingsregelingen per week. “Daar zitten ook mensen bij met multiproblematiek: die hebben niet alleen schulden bij ons, maar ook bij andere organisaties”, aldus Henkjan.

Let op: Debt Alert“Het idee, om het systeem mensen met schulden eerder te laten herkennen om erger te voorkomen, ontstond werkendeweg”, vertelt Marjolein. Het innovatielab ging in de data van verkeersboetes op zoek naar vroegsignalen die wijzen op schulden: Debt Alert dus. Een voorbeeld van zo’n signaal is het ongeopend retour krijgen van de brief met de beschikking. In die situatie wordt gecheckt of de overtredende automobilist echt niet op dit adres woont. Woont deze er toch, dan is er misschien meer aan de hand.

“Ideeën moeten soms mislukken om uiteindelijk tot briljante oplossingen te komen.”

Voor de verschillende signalen die wijzen op schulden wordt nu een algoritme gemaakt. Na een test in het innovatielab volgt een pilot op de afdeling waar het gebruikt gaat worden. Marjolein: “We gaan kijken of het algoritme werkt. Zo ja, dan hebben we de mensen in beeld die we willen bereiken. Met een gedragspsycholoog van de Rijksuniversiteit Groningen stemmen we af wat de beste manier van communiceren is. Een whatsappje, een brief of een telefoontje? Als we weten wat werkt, volgt de implementatie en de vertaling in techniek en inbedding in processen.”

Privacy: wat kan wél?Het CJIB vindt privacybescherming erg belangrijk. Marjolein: “Werkende vanuit dat principe zijn we minder goed in staat mensen met schulden te identificeren. En toch willen we die mensen herkennen om tot een passende aanpak te komen. We laten privacy specialisten uitzoeken wat we mogen doen, om aan de ene kant iemands privacy te respecteren en aan de andere kant wel een passende aanpak voor te stellen.” Marjolein merkt in dit kader op dat je in elke fase van het innovatieproces een ander type medewerker nodig hebt. “In het begin heb je creatievelingen nodig. Maar verder in het proces ga je op zoek naar critici die je verder aan het denken zetten.” Dat geldt voor juristen, maar ook voor ICT’ers. “Aanvankelijk

Page 24: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 24

dachten we nog heel conceptueel, voor ICT-doeners veel te vaag. Nu we de algoritmes in het primaire systeem willen implementeren, zijn zij veel beter in hun element.”

Een datagedreven organisatieHet ontwikkelen en werken met algoritmes is nog volop in ontwikkeling binnen het CJIB. Voor Marjolein staat wel vast dat het onderwerp zich heel goed leent voor een innovatielab. “Algoritmes zijn een vorm van kunstmatige intelligentie. Door het gebruiken van algoritmes en technologieën, als linked data en process mining, worden we meer een datagedreven organisatie: op basis van onze data maken we beslissingen en veranderen we een proces. We beginnen nu klein met signalen in het verkeersdomein. Debt Alert is geschikt om daar te beginnen.”

Tips van Marjolein en Henkjan voor een innovatielab:

1. Denk groot, begin klein.

2. Zorg voor een multidisciplinair team dat niet louter uit data scientists bestaat. Je hebt ook een strateeg nodig en iemand die goed kan communiceren.

3. Organiseer het lab zo hoog mogelijk in de organisatie en zorg voor bestuurlijke back-up. Dat leidt tot minder weerstand in de rest van de organisatie.

4. Voorkom bureaucratie: maak er geen innovatieafdeling van. Faciliteer, maar geef niet te veel sturing. Laat het een beetje los.

Over het CJIB

Het CJIB is een uitvoeringsorganisatie van het ministerie van Justitie en Veiligheid. Het CJIB is verantwoordelijk voor de inning en incasso van verkeersboetes maar int ook andere geldboetes. Denk bijvoorbeeld aan schadevergoedingsmaatregelen, ontnemings-maatregelen, dwangsommen en bestuurlijke boetes voor andere overheden.

Bij het CJIB is daarnaast het Administratie- en Informatiecentrum voor de executieketen van strafrechtelijke beslissingen (AICE) ingericht. Het AICE coördineert de uitvoering van straffen, denk bijvoorbeeld aan gevangenisstraffen of taakstraffen. Met de uitvoering van deze taken levert het CJIB een belangrijke bijdrage aan de geloofwaardigheid en het gezag van de overheid. Het CJIB is een lerende en innovatieve organisatie met continu aandacht voor verbetering. De combinatie van innovatiekracht, kennis en deskundigheid zorgt voor een prominente positie binnen de overheid.

Page 25: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 25

Welke impact heeft het weer? KNMI-weersverwachting nieuwe stijl

Jan Willem Noteboom, R&D-adviseurRaymond Sluiter, onderzoeker

Page 26: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 26

Het Early Warning Centre van het Koninklijk Nederlands Meteorologisch Instituut (KNMI) zorgt voor een wezenlijke verschuiving in het denken over weersverwachtingen. Van ‘what the weather will be’ naar ‘what the weather will do’. Dat gebeurt onder andere door de inzet van big data en het gebruik van nieuwe databronnen waaronder Internet of Things (IoT). Experimenten moeten de toegevoegde waarde van het gebruik van big data aantonen, bijvoorbeeld voor het voorspellen van mist, gladheid of storm. Wat is hiervoor nodig? Volgens Jan Willem Noteboom en Raymond Sluiter in ieder geval: complete data en een hoop geduld.

KNMI datalab: publiek eerder waarschuwenDToen R&D-adviseur Jan Willem Noteboom begin 2016 de vraag kreeg om met data science aan de slag te gaan binnen het KNMI, kwam hij met zijn collega’s al snel uit op een KNMI datalab. Met de resultaten wil het meteorologisch instituut het publiek eerder en beter kunnen waarschuwen conform een Early Warning Centre. “We willen duidelijker maken welke impact zoiets als een storm kan hebben”, zegt Jan Willem. “Dus niet ‘windsnelheden van 100 kilometer per uur’, maar ‘in de ochtendspits kunnen veel bomen omwaaien’, of ‘je kunt nu beter niet met een lege vrachtwagen over een brug rijden’.” Feitelijk wordt weerinformatie zo gekoppeld aan een concreet handelingsperspectief.

Hoge resolutie en rijdende sensorenVoor dit soort waarschuwingen zijn meer gegevens nodig dan alleen uit weermodellen is op te maken en dat betekent allereerst samenwerking met een grote verscheidenheid aan organisaties. “Het Early Warning Centre maakt meteen een paar trends duidelijk”, zegt onderzoeker Raymond Sluiter, tijdens het interview nog werkzaam voor het KNMI, inmiddels overgestapt naar het Netherlands Space Office (NSO). “Bij big data gaat het vaak over het bij elkaar brengen van gegevens uit verschillende domeinen. Daarnaast is er behoefte aan locatiespecifieke informatie die meer zegt dan ‘het wordt 20 graden in De Bilt.’”In deze hoge-resolutie gegevens spelen tijd en ruimte een belangrijke rol: hoe laat en waar gaat het precies waaien of regenen? Die data blijken lastiger te bemachtigen dan je denkt. Raymond: “We hebben weliswaar 35 waarneemstations in Nederland, maar die staan voornamelijk in landelijk gebied. Interpolaties voor de steden zitten dan bezijden de waarheid. Om tot hogere dichtheid te komen, hebben we heel veel verschillende aanvullende databronnen nodig. Bijvoorbeeld via apparatuur met sensoren en door crowdsourcing.”

Een interessante ontwikkeling hierin is de rijdende sensor: sensoren in auto’s kunnen zorgen voor een enorme boost aan gegevens. Zien we bijvoorbeeld dat ergens in Nederland veel auto’s hun ruitenwissers gebruiken? Grote kans dat het daar regent. Blijkt uit sensoren op autobumpers een lage temperatuur net boven het wegdek op de N237? Dan is een waarschuwing voor gladde wegen misschien een goed idee.

Page 27: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 27

“Er is behoefte aan gegevens die meer zeggen dan ‘het wordt 20 graden in het zuiden van het land.”

Alles begint met goede data‘What the weather wil do’ vraagt dus om twee belangrijke zaken. Aan de ene kant de combinatie met andere databronnen die het KNMI voorheen niet gebruikte. Aan de andere kant een hogere resolutie van de data, om bijvoorbeeld exacter te kunnen voorspellen dat er om 17.15 uur op de A4 bij Leiden ijzel wordt voorspeld. “Alles begint bij goede data”, zegt Jan Willem, “maar welke databronnen zijn nou echt interessant voor onze vraagstukken?” Extra weerstations bouwen is in ieder geval niet de oplossing. Dat is een te dure aangelegen-heid. In aanvulling op de data van de onmisbare weerstations is bijvoorbeeld het Actueel Hoogtebestand Nederland (AHN) een belangrijke dataset voor het KNMI. Hiermee kun je de Sky View Factor (SVF) bepalen. Een gebied met een hoge SVF (je ziet veel blauwe lucht) is open en zal in de winter meer afkoelen. Steden hebben een lage SVF en houden meer warmte vast. Raymond: “Dat AHN is echt een enorm bestand. Op iedere vierkante meter heb je iets van acht waarnemingen en dus ruim 320 miljard punten voor heel Nederland. De hieruit berekende SVF gebruiken we voor onze meteorologische modellen.”

Voorspellen van mist: neuraal netwerkComplete data voor de weersgesteldheid in tijd en plaats: hoe krijgen we die in de KNMI-praktijk nu beter in beeld? Mist is hiervoor een goed voorbeeld. Mist treedt plotseling op, is heel lokaal en lastig te detecteren. De huidige beschikbare zichtmeters zijn niet in staat om alle mist te vangen en satellietwaarnemingen bieden ook niet de gewenste gegevens. Hoe zorg je er nou voor dat je in de ochtendspits tussen 05.00 en 08.00 uur het publiek correct en snel kunt informeren over mist? “Met bestaande camera’s van Rijkswaterstaat”, vertelt Jan Willem. “Daarvan staan er heel veel langs de weg. Dankzij een privacy filter mogen we beelden gebruiken. Het kostte veel tijd, maar het is ons gelukt een model te maken waarbij we op basis van de camerabeelden kunnen vaststellen waar en wanneer het mist.”

Page 28: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 28

Voor de datanerds

Mist detecteren op camerabeelden is minder eenvoudig dan het misschien lijkt. Complicerende factoren zijn verschillen in camera’s die worden gebruikt, verschillen in achtergrond en variaties in panning, tilting en zooming van camera’s.

De gebruikte dataset bestond uit camerabeelden gemaakt met camera’s van KNMI, Rijkswaterstaat en een aantal luchthavens. Labelen vond plaats door gebruik te maken van informatie van het dichtstbijzijnde weerstation (waarbij camera’s maximaal 2,5 km - voor model 1 - of maximaal 7,5 km - voor model 2 - verwijderd mochten zijn van een weerstation). De beelden werden teruggebracht tot een resolutie van 28x28 pixels.

Er is een neuraal netwerk met 5 hidden layers getraind voor beide modellen. F1-score op de trainingset bedroeg 0.986 voor de 2,5 km data en 0.981 voor de 7,5 km data. F1-score op de testset bedroeg 0.65 voor 2,5 km data en 0.51 voor de 7,5 km data. De modellen voorspellen in de meeste gevallen wel correct dat het zicht is verminderd, maar benade-ren niet helemaal de hier gekozen grenswaarde (namelijk minder dan 250 meter zicht).

Er worden verschillende opties overwogen om het model nog verder te verbeteren, zoals het gebruik van meer data, toepassing van een convolutioneel neuraal netwerk en verfijning van het labelen.

Dankzij dit project kwam het KNMI meer in contact met de medewerkers in de verkeers-centrale. Waar zouden zij de nieuwe informatie nou voor kunnen gebruiken? “Dat was erg verhelderend”, zegt Jan Willem. “Een vraagstuk is bijvoorbeeld het open of dicht houden van plus- en spitsstroken. Het liefst weet de Verkeerscentrale een uur van tevoren of en waar er mist komt, maar deze informatie is nu nog niet beschikbaar. Zodra mistdetectie met camera’s goed werkt, is het een logische volgende stap om het weermodel te downscalen naar lokale omstandigheden. Dat kan met verschillende bronnen, zoals de SVF. We gaan de verkeerscentrale ook zeker om feedback vragen na de eerste opzet.”

“We blijven ook conventionele modellen gebruiken en de waarnemingen van weerstations blijven essentieel.”

Page 29: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 29

Nieuwe denkwijzeOok al werken meteorologen altijd met data, voor de KNMI-organisatie is datagedreven werken een nieuwe denkwijze. Jan Willem: “Weer- en klimaatmodellen zijn fysische modellen. Met parameters waar jaren onderzoek in zit en die je niet even opzij kunt zetten. Maar datagedreven modellen vormen een heel andere wereld. Het één vervangt ook niet het ander. Je blijft je conventionele modellen gebruiken en de waarnemingen van weerstations blijven essentieel.”Reden genoeg om de rest van de organisatie meer te betrekken bij nieuwe technieken rond data science die vooral bruikbaar zijn voor het Early Warning Centre. Jan Willem: “We moeten onze collega’s duidelijk maken dat er momenten zijn in hun analysewerk waarin ze deze nieuwe technieken kunnen toepassen. Dat het niet iets blijft van: oh ja, dat is voor dat datalabje. Nee, het moet een integraal onderdeel worden van de onderzoekspraktijk.”

Tips van Jan Willem en Raymond:

1. Leg je niet vast met een bepaald softwarepakket, maar maak gebruik van verschillende open source bouwstenen. Dat geeft je meer flexibiliteit.

2. Heb geduld. Denk niet dat je data science eventjes binnen een jaar in je bedrijf integreert. Elke nieuwe technologie heeft tijd nodig. Big data is geen wondermiddel.

3. Zet de kwaliteit van data bovenaan. Dat is gewoon superbelangrijk.

Over het KNMI

Het KNMI is gespecialiseerd in weerkunde, klimaatwetenschap en seismologie. Het verzorgt onder andere dagelijkse weersverwachtingen en waarschuwingen voor gevaarlijke weersomstandigheden. Het KNMI is een agentschap van het Ministerie van Infrastructuur en Waterstaat. Er werken circa vijfhonderd medewerkers.

Page 30: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 30

Voorspelbaar onderhoud bij Rijkswaterstaat

Angelien van Boxtel, programmamanagerGilbert Westdorp, initiatiefnemerMartijn Koole, data scientist

Page 31: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 31

Hoe maakt Rijkswaterstaat het onderhoud aan bruggen, tunnels en sluizen efficiënter? Onderhoud plegen kan niet te vroeg, dat is zonde van het geld. Maar zeker ook niet te laat, omdat installaties hierdoor stuk kunnen gaan. Voorspelbaar onderhoud is hier het sleutelbegrip. Daarvoor is het programma Vitale Assets opgezet, met een datagedreven aanpak als basis voor deze nieuwe manier van werken. Initiatiefnemer Gilbert Westdorp, data scientist Martijn Koole en programmamanager Angelien van Boxtel vertellen meer over het programma.

Eerste pilot: sluizenGilbert legt de essentie van voorspelbaar onderhoud uit: “Eigenlijk was ons idee heel simpel. Neem bijvoorbeeld sluizen. We rusten een sluis uit met een heleboel sensoren. Die houden allerlei gegevens bij, zoals het elektriciteitsverbruik, het aan- en uitgaan van motoren en het bewegen van de sluisdeuren. Gaat het elektriciteitsverbruik omhoog, dan zoeken we eerst naar verklaringen in de weersomstandigheden, zoals temperatuur, windrichting en waterstand. Verklaart dit het elektriciteitsverbruik niet? Dan onderzoeken we of er extra onderhoud of vervanging van onderdelen nodig is.” Toen dit idee halverwege 2016 aan het bestuur van Rijkswaterstaat werd voorgelegd, kwam het met twee opdrachten. Eén: voer een aantal pilots uit en twee: maak op basis daarvan een plan van aanpak voor Rijkswaterstaat breeduit. “Van een eerste pilot met sluizen hebben we veel geleerd”, vertelt Gilbert. “Tegelijkertijd liepen we tegen allerlei vragen aan: hoe bouw je algoritmes? Moeten we ook een beroep doen op de markt? Hoe vertaal je resultaten naar een strategie? En hoe zorg je voor een veilige verzending en opslag van alle data?”

Dit voorspelbaar onderhoud introduceert voor 80% een andere manier van werken en dan krijg je weleens met weerstand te maken. Gilbert: “Soms zijn objectbeheerders behoudend en zijn ze ervan overtuigd dat hun eigen werkwijze de beste is. Of er zijn allerlei procedures die samenwerking bemoeilijken. Maar er zijn ook objectbeheerders die enthousiast zijn en graag meewerken. Met hen hebben we de pilots uitgevoerd.”

“Voorspelbaar onderhoud is toch voor 80% een andere manier van werken”

Page 32: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 32

Meerwaarde voorspelbaar onderhoudHet sluizenproject wordt nu als een succes beschouwd, maar tijdens de pilot werd op een gegeven moment bijna de stekker eruit getrokken. Er was iets aan de hand met de sluis in Tiel. Na heen-en-weer-gebel met de objectbeheerders en de aannemer bleek het om een kapot verwarmingselement te gaan. Even later moest een tweede element vervangen worden. Vreemd genoeg hielp dat niet. Tot een van de programmamedewerkers zich naar aanleiding van de eerste reparatie herinnerde dat je nieuwe elementen opnieuw moet instellen. Zo kon kennis over het object erger voorkomen. Het gaf de meerwaarde van voorspelbaar onderhoud aan. Tegelijkertijd gaf het incident de noodzaak van een goed protocol aan: wie rapporteert op welke manier aan wie bij calamiteiten?

Doorontwikkeling tot programma Vitale AssetsVan idee en pilot is er nu een programma Vitale Assets opgericht om voorspelbaar onder-houd door te ontwikkelen binnen Rijkswaterstaat. Angelien: “Het raakt al onze processen en dat maakt het leuk en interessant. Inmiddels hebben we het voor elkaar dat de data van sensoren centraal en veilig worden opgeslagen. De volgende stap is om gebruik te maken van andere datasets over weersomstandigheden. We kijken dan samen met de data scientists welke inzichten dit oplevert en waar mogelijkheden bestaan voor slimmer onderhoud.”Een ander belangrijk onderwerp is de inrichting van de gebruikersinterface. Verschillende mensen binnen en buiten Rijkswaterstaat moeten immers een signaal krijgen als een sluis kapot gaat. Hoe ziet dat signaal eruit? Is dat een sms of een mailtje? Hoe zit het als het signaal toch niet klopt? “Dit soort vragen zijn zeer relevant”, zegt Angelien. “En dan moeten we ook nog bedenken hoe we met al deze kennis het onderhoud het beste kunnen ondersteunen. Leidt dit tot aangepaste onderhoudsprogramma’s of verwachten we vooral dat onderhoudsmonteurs direct aan de slag gaan als er iets mis dreigt te gaan?”

“We zijn samen aan het leren. Als organisatie, niet als individu.”

Samen met het datalabBij de uitvoering van Vitale Assets werkte het programmateam nauw samen met het datalab van Rijkswaterstaat. Gilbert: “Voorspelbaar onderhoud roept allerlei vragen op over data. Hoe ga je met data om? Hoe verwerk je de data? Hoe bouw je algoritmes? Dat is een nieuw kennisveld, maar gelukkig beschikt Rijkswaterstaat over een datalab waar expertise op dit gebied beschikbaar is.” Martijn van het datalab van Rijkwaterstaat licht dat toe. “Toen ik voor het eerst over voorspelbaar onderhoud hoorde, was ik direct enthousiast. We bouwen

Page 33: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 33

nu modellen en voorspellen wanneer bepaalde componenten kapot gaan. Maar ik kwam er snel achter dat er veel moet gebeuren voordat je daarmee aan de slag kunt.”De afgelopen periode is veel tijd geïnvesteerd in de centrale opslag van data. En dan gaat het om veel data. Een sluis heeft al snel honderd of meer sensoren. Sommige geven iedere seconde of iedere minuut signalen. Dat levert veel waarnemingen op per sluis. Gilbert: “We lezen deze informatie nu gestandaardiseerd uit. We zijn blij dat we nu zien wat er gebeurt. In samenwerking met de mensen van onderhoud interpreteren we deze informatie.”

Kennis vastleggen in de organisatieHoe leg je de opgedane kennis vast, zodat deze niet alleen bij individuen, maar ook binnen de organisatie neerslaat? Angelien: “We realiseren ons binnen het programma Vitale Assets dat je samen aan het leren bent. En dat het helpt om structuur aan te brengen in het leren. Anders vind je steeds opnieuw het wiel uit. We komen daarom met een groot aantal mensen, niet alleen de direct betrokkenen, periodiek bijeen. Dan kijken we: waar staan we, hebben we geleerd wat we wilden of niet, wat moeten we doen om nieuwe dingen voor elkaar te krijgen? Het leren wordt anders heel persoonsafhankelijk. Als iemand dan een andere positie krijgt, zijn de leerpunten ineens verdwenen.”

Tips van Angelien en Gilbert:

1. Als je iets nieuws begint, krijg je met tegenslagen te maken. Trek je daar niets van aan, ga vooral door.

2. Een nieuwe aanpak vraagt een bonte mix van mannelijke en vrouwelijke collega’s, denkers en doeners, dromers en realisten, data scientists en boekhouders. Wrijvingen zijn soms nodig om elkaars taal en toegevoegde waarde te begrijpen.

Over Rijkswaterstaat

Bij Rijkswaterstaat werken ruim negenduizend mensen aan de vlotte en veilige door stroming van het verkeer, het onderhoud en de verbetering van het systeem van vaarwegen, en de bescherming tegen overstromingen.

Page 34: Best Practices Innovatieve voorbeelden van datagebruik ...€¦ · Best Practices Innovatieve voorbeelden van datagebruik binnen het Rijk Interviewreeks 2018 | 6 precies weten wat

CJIB

Dit is een uitgave van: Ministerie van Binnenlandse Zaken en KoninkrijksrelatiesPostbus 200112500 ea Den Haagwww.rijksoverheid.nl

Ontwerp en drukwerkXerox/OBT, Den Haag

Januari 2019 | 119108

Linked data

Process mining

Early Warning Centre20˚C

Vitale AssetsRijkswaterstaat

KNMI datalab