View
39
Download
0
Category
Preview:
Citation preview
Paul Grooten
29 mei 2018 – v1.0
Van procesgedreven naar datacentrisch
Themasessie NORA Gebruikersdag
Agenda
Mag ik even voorstellen…
Het CBS als Data knooppunt
Van proces gedreven naar data centrisch
Het CBS DataMeer
Aanbevelingen
Mag ik even voorstellen…
3
Centraal Bureau voor de Statistiek
4
Zelfstandig Bestuursorgaan (ZBO)
Officiële StatistiekenEconomisch - Sociaal -
VolkstellingNationaal en Regionaal
180 mEur 2000+
The Hague Heerlen Bonaire
Opgericht in 1899 (5 fte, 2 kamers), nu 3 vestigingen
Data Verzamelen
Data Verwerken
Publiceren
Statistisch proces
5
Missie
6
● 3.900 tabellen in StatLine (online database)
● 800 nieuwsberichten
● 51.000 keer als bron in nieuwsmedia
● Ruim 10 miljoen keer is CBS.nl bezocht
● 116.000 volgers op Twitter
● 946.000 bevragingen Open Data
CBS in cijfers*
* Status eind 2017
7
Fenomeengerichte benadering
Verspreiding informatie via diverse kanalen
8
9
Diverse vormen van OutputNieuws
berichtenStatLine
Open Data
Micro-
data
Maat-werk
Publica-ties
Tweets
Les-materiaal
Visualisa-
ties
Filmpjes
Corporate nieuws
10
● Privacy altijd gewaarborgd (in de wet vastgelegd)
● Geheimhoudingsplicht voor alle medewerkers
● De CBS wet garandeert dat gegevens alleen voor statistische doeleinden worden gebruikt
● Geen enkele instelling kan toegang opeisen tot de gegevens die het CBS verzamelt
Gegevensbescherming als top prioriteit
Het CBS als Data knooppunt
11
12
Data gebruik
13
CBS als Data knooppunt
DatabronnenMinisteries, Planbureaus en DNB
Gebruikers
Universiteiten
Onderwijs
Gezondheidszorg
Internationaal
Decentrale overheid
Media
Politiek
Bedrijfsleven
Burger
BRP
KvK
UWV
GGDPolitie
Kadaster
BedrijvenBurger
Belastingdienst
Onderwijssamenwerking
14
Samenwerken
15
Samenhang en complexiteit
Economy
Education
Energy
Environment
Finance
Fire & Emergency
Response
Governance
Health
Recreation
Safety
Shelter
Solid Waste
Telecommunications
Transportation
Urban Planning
Wastewater
Water & Sanitation
Sustainable Development Goals
16
Vraag naar:
● Meer, samenhangende, actuele, maatwerk, “doe het zelf”, “doe
het samen” statistische informatie
Realiteit:
● Moeilijkheden bij het verkrijgen van statistische informatie
● Toegenomen beschikbaarheid én gebruik van administratieve
bronnen
● Toenemende complexiteit
Uitdagingen
Van proces gedreven naar data centrisch
17
18
Hoe om te gaan met de grote vraag?
19
Anders kijken naar Data!
20
Van Procesgedreven
21
…naar Datacentrisch
Datameer
Microdata Stat. data
Artikelen/Visualisaties
Hergebruiken / Combineren
Slimme / flexibele processen
Afnemers / Onderzoekers
Zelfstandig gebruiken
Afnemers
Publiceren
Afnemers
Ophalen
BerichtgeversRespondenten
Streaming data
Registraties
Exploreren
22
● Afscheid nemen van beperkingen huidige methoden en technieken
● Nieuwe Architectuur
● Eindgebruiker ondersteunen en zelfstandig informatie laten vinden (self-service)
● Inzet nieuwe ontwikkelingen op gebied van:
Datavirtualisatie Metadata Beveiliging en Autorisatie
Dat betekent
23
Focus op vinden
24
Nieuwe blik op proces georiënteerde BA
User of
statistics
Policy, budget, descriptions of
external registrations
Conceptual
metadata & product
quality
Process metadata:
workflow & proces
quality
Process metadata:
statistical
knowledge rules
Conceptual metadata &
product quality
Determine
statistical
information
needs
Design
structure
processes
Design
final products
Design
statistical
knowledge
rules
Design
raw materials,
semifinished
products
Plan, check, act
Quality indicators Plan, schedule
Outputbase
Supplier of
registrations,
Respondent
Realised metadataMeasured quality
indicators, reports
Drawing
samples,
etc
Data collection Publishing Imputation,
editing, etc Disclosure
Control, etc
Inputbase Microbase Statbase
Estimation,
statistical
Integration,
etc
Design
Chain
management
Statistics
Production
25
Maar ook de vraag naar flexibiliteit verlangt een andere architectuur
CBS zal in toekomst zowel mode 1 als ook
mode 2 ondersteunen
Een beetje zoals…
Web Web Web Web
Afspraken
Regels
One Stop Shopping
All you needand more
Zoek / Vergelijk
26
27
Een Data Shop
Web Web Web Web
Afspraken
Regels
EZ
One Stop Shopping
All you needand more
Zoek / Vergelijk
PDCUDC DDC
PDCUDC
UDC=Urban Data Center | PDC = Provionciaal Data Center | DDC=Departemental Data Center
Het CBS DataMeer
28
29
Het toegankelijk maken van statistische data voor statistici - Meer data
- Makkelijker te vinden
- Makkelijker te begrijpen
- Makkelijker te verkrijgen
Twee troeven - Data virtualisatie
- Metadata-model
De data centraal in het CBS DataMeer
30
De kern van het CBS DataMeer
Data-Abstractielaag (middels data virtualisatie)
FIN CRM SecundaireBronnen
FlatFiles
WebServices
Big Data
DPT Dashboard Intra Mobile Report AppVisual
JSON SQL SQL Excel XML NOSQL
JDBC/SQL MDX/DAX Rest/SOAP Json/RestODBC/SQL ODBC/SQLXML/SOAP
De nieuwe CBS Data Architectuur
31
Demand
Supply
(Leg
acy)D
atasou
rces
Data Source Layer(DSL)
CSVSQL DB
Web Srv
ETL tooling
XLS
App
CBDS
Vraag
Consumer Layer(CL)
Web PageS2STooling
P V A
P V A= Data Prep = Data Visualization = Data Analytics
Security
Data V
irtualizatio
nP
latform
Data Transformation Layer (DTL)
Data Provisioning Layer (DPL)
Building Block 1
Building Block 2
Building Block 3
Building Block 4
Web-Service
C
OData Web-Service B
Web-Service A
Security
UserQue.
Da
ta G
ove
rna
nce
TechMeta
Me
tad
ata
Ma
na
ge
me
nt
Import Conceptual Meta
Conn.String
Existing New
CIO office | Versie 1.81
Se
curi
ty &
Au
tori
sati
on
…richting een multi zone DaaS Architecture
32
Security
CLD
atasou
rces
DSL
Data V
irtualizatio
n
DTL
DPL
Da
ta G
ove
rna
nce
Existing New
UserQue.
Me
tad
ata
Ma
na
ge
me
nt
TechMeta
Zone CBS
DDC=Departemental Data Center | UDC=Urban Data Center | CL=Consumer LayerDPL=Data Provisioning Layer | DTL=Data Transformation Layer | DSL=Data Source Layer
Building Block 1
Building Block 2
Web-Service A
CBDSDSC
P VA
P V A= Data Prep = Data Visualization = Data Analytics
Security
Zone DDC1
Building Block 7
Building Block 8
Web-Service D
DDC1
Secured
VPN
P VA
Zone UDC1
Building Block 3
Building Block 4
Web-Service B
UDC1
Secured
VPN
P VA
Zone UDC2
Building Block 5
Building Block 6
Web-Service C
UDC2
Secured
VPN
P VA
EHB Se
curi
ty &
Au
tori
sati
on
Remote Acces omgeving in CL
Pseudonimi-seren in DTL
Voor Open en Micro Data
Data-Abstractielaag
33
● Naast technische metadata ook conceptuele, proces en herkomst metadata
● Metadata model ondergebracht in graph database vanwege flexibiliteit en geschiktheid
● Basis voor zoeken/vinden maar ook voor toekomstige ontwikkelingen (o.a. automatische classificatie)
Metadata systeem als kloppend hart
Persoon
Petra
Persoon
Peter
Is_getrouwd_met
Woont_samen_met
Naam….: PeterGeboren: 1 sep 1991Twitter…: @peter
Label Relaties Node Propperties
34
Zoeken en vinden m.b.v. Metadatasysteem
Free Text Search Engine
Graph model Zoekindex
Datasets met variabelen gesorteerd op nabijheid / relevantie met relaties
?1
24 35
6
DSD
DS
VAR
35
Combineren en verwerken
8
97
6
Combineren/VerwerkenData Virtualisatie system
(DV)
ICT Gebruik
RegioBase
Post-code tabel
Security enAccess Control
Bron systemen
Datasets met variabelen gesorteerd op nabijheid /relevantie met relaties
36
Samenvatting Datameer
Data-Abstractielaag (middels data virtualisatie)
FIN CRM SecundaireBronnen
FlatFiles
WebServices
Big Data
DPT Dashboard Intra Mobile Report AppVisual
JSON SQL SQL Excel XML NOSQL
JDBC/SQL MDX/DAX Rest/SOAP Json/RestODBC/SQL ODBC/SQLXML/SOAP
Met
adat
a sy
ste
em
Aanbevelingen
37
38
● Ontwikkel een Datastrategie (maar dit is niet voldoende voor succesvolle implementatie)
● Naast technologie, speelt vooral ook de cultuur een belangrijke rol
Wat is er nodig voor succes?
39
• Check of Datastrategie in lijn is met je plannen (v.v.)
• Begin met experimenteren met technologieën als datavirtualisatie
• Bouw aan een cultuur die verandering omarmt en communiceer je plannen zo vaak als mogelijk
Aanbevelingen
40
Wat levert het op?
€ M{ "
stimuleerKostendata toegang
Risico’s
Groei Hergebruik
Time toMarket
reduceer
41
Vragen?
Paul GrootenData architect / CIO OfficeCBS
42
Recommended