35
www.vlaanderen.be\informatievlaanderen OPEN STANDAARDEN VOOR LINKENDE ORGANISATIES Aan de slag met semantische standaarden DCAT-AP validator voor Vlaamse open data Raf Buyle, Michiel De Keyzer, Jens Scheerlinck, Bert Van Nuffelen, Mathias De Schrijver #TIV2017 - 30 november 2017

OSLO | Aan de slag met semantische standaarden

Embed Size (px)

Citation preview

Page 1: OSLO | Aan de slag met semantische standaarden

www.vlaanderen.be\informatievlaanderen

OPEN STANDAARDEN VOOR LINKENDE ORGANISATIES

Aan de slag met semantische standaardenDCAT-AP validator voor Vlaamse open data

Raf Buyle, Michiel De Keyzer, Jens Scheerlinck, Bert Van Nuffelen, Mathias De Schrijver

#TIV2017 - 30 november 2017

Page 2: OSLO | Aan de slag met semantische standaarden

www.vlaanderen.be\informatievlaanderen

OPEN STANDAARDEN VOOR LINKENDE ORGANISATIES

Aan de slag met semantische standaarden

#TIV2017 - 30 november 2017

Page 3: OSLO | Aan de slag met semantische standaarden

Agenda

1. Belang en context

2. Stapsgewijs OSLO² ontdekken en gebruiken

3. Ondersteuning, referenties en Q&A

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

Page 4: OSLO | Aan de slag met semantische standaarden

1. Belang en context OSLO²

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

Page 5: OSLO | Aan de slag met semantische standaarden

Belang van interoperabiliteit

Impact op kwaliteit en efficiëntie dienstverlening

Meervoudige kosten om informatie te koppelen

Authentieke bronnen bestaan als silo’s

Informatie wordt gestructureerd/gemodelleerd vanuit 1

perspectief

Applicaties kijken naar de reële wereld vanuit verschillende perspectieven

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

Page 6: OSLO | Aan de slag met semantische standaarden

Uitgangsprincipes voor interoperabiliteit in praktijk.

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

http://data.vlaanderen.be/doc/adres/3706808

Page 7: OSLO | Aan de slag met semantische standaarden

2. Stapsgewijs OSLO² ontdekken en gebruiken

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

Page 8: OSLO | Aan de slag met semantische standaarden

Relevantie

Businessanalisten OntwikkelaarsProject managersCIO’s & Productowners

Uitwerken informatiestrategie

Integreren van informatiestrategie in

projectplan

Uitwerken van informatiemodel op basis

van behoeften

Implementeren van semantische afspraken in

elektronische diensten

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

Page 9: OSLO | Aan de slag met semantische standaarden

Afstemmen met OSLO² in zes stappen

Verschillen wegwerken a.d.h.v. acties

Overlap en verschillen tussen OSLO² en domeinmodel bepalen

Elementen in OSLO² analyseren

Beschrijven van informatienoden 1

2

3

4

Finale mapping 5

Verfijnen van domeinmodel tot informatiemodel 6TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

Page 10: OSLO | Aan de slag met semantische standaarden

Stap 1: Beschrijven van informatienodenVoorbeeld Burgerloket

Page 11: OSLO | Aan de slag met semantische standaarden

Stap 2: Elementen in OSLO² analyseren (1/2)data.vlaanderen.be/ns

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

Page 12: OSLO | Aan de slag met semantische standaarden

Stap 2: Elementen in OSLO² analyseren (2/2)Voorbeeld Persoon

Toegelichte entiteiten: Afstamming | Burgerlijke Staat | Domicilie | Geboorte | Geen Inwoner | Geregistreerd Persoon | Gezin | Gezinsrelatie | Huwelijk | Inwoner | Inwonerschap | Jurisdictie | Nationaliteit | Organisatie | Overlijden | Permanent Inwoner | Persoon | Persoonsgebeurtenis | Persoonsrelatie | Samenwonen | Staatburgerschap | Staatsburger | Tijdelijk Inwoner | Agent | Verblijfplaats | Voogdij | Vreemdeling

Toegelichte klassen: Afstamming | Burgerlijke Staat | Domicilie | Geboorte | Geen Inwoner | Geregistreerd Persoon | Gezin | Gezinsrelatie | Huwelijk | Inwoner | Inwonerschap | Nationaliteit | Overlijden | Permanent Inwoner | Persoonsgebeurtenis | Persoonsrelatie | Samenwonen | Staatburgerschap | Staatsburger | Tijdelijk Inwoner | Verblijfplaats | Voogdij | Vreemdeling |

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

Page 13: OSLO | Aan de slag met semantische standaarden

Stap 3: Overlap en verschillen bepalenVoorbeeld Burgerloket

Burgerloket functioneel domein Relatie OSLO² semantisch model voor persoon

Klasse Eigenschap Eigenschap Klasse

Persoon naam Exact match volledigeNaam Persoon

Persoon register Related match staatsburgerschap Persoon

Persoon gezinsleden Broad match heeftRelatieMet Persoon

Persoon administratief beheerder

No match

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

Page 14: OSLO | Aan de slag met semantische standaarden

Stap 4: Verschillen wegwerken a.d.h.v. actiesVoorbeeld Burgerloket

Page 15: OSLO | Aan de slag met semantische standaarden

Stap 5: Finale mappingVoorbeeld Burgerloket

Page 16: OSLO | Aan de slag met semantische standaarden

Stap 6: Verfijnen tot informatiemodel

Page 17: OSLO | Aan de slag met semantische standaarden

Technische implementatie van OSLO

• Van JSON naar JSON-LD

• Vergt weinig extra inspanning

• Zorgt voor interoperabiliteit van data

{

“voorkeursnaam": "Agentschap Informatie Vlaanderen",

“alternatieveNaam": “AIV"

}

{

"@context": "http://data.vlaanderen.be/context/organisatie.jsonld",

"@id": "http://data.vlaanderen.be/id/organisatie/OVO002949",

"@type": “Organisatie",

“voorkeursnaam": "Agentschap Informatie Vlaanderen",

“alternatieveNaam": “AIV"

}

JSON JSON-LD

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

Page 18: OSLO | Aan de slag met semantische standaarden

Voorbeeld: JSON-LD in de praktijk

{

“voorkeursNaam": “Agentschap Informatie Vlaanderen",

“alternatieveNaam": “AIV",

}

{

“naam": “Agentschap Informatie Vlaanderen",

“afkorting": “AIV",

}

{

"@context": {

“Organisatie":"http://www.w3.org/ns/org#Organization",

"voorkeursNaam ": "http://www.w3.org/2004/02/skos/core#prefLabel",

"alternatieveNaam ":"http://www.w3.org/2004/02/skos/core#altLabel"

},

"@id": "http://data.vlaanderen.be/id/organisatie/OVO002949",

"@type": “Organisatie",

“voorkeursNaam": " Agentschap Informatie Vlaanderen",

“alternatieveNaam": “AIV",

}

{

"@context": {“Organisatie":"http://www.w3.org/ns/org#Organization",

"naam": "http://www.w3.org/2004/02/skos/core#prefLabel",

“afkorting":"http://www.w3.org/2004/02/skos/core#altLabel"

},

"@id": "http://data.vlaanderen.be/id/organisatie/OVO002949",

"@type": “Organisatie",

“naam": " Agentschap Informatie Vlaanderen",

“afkorting": “AIV",

}

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

Page 19: OSLO | Aan de slag met semantische standaarden

Voorbeeld: Integratie OSLO via JSON-LD

{

"@context": "http://data.vlaanderen.be/context/organisatie.jsonld"

"@id": "http://data.vlaanderen.be/id/organisatie/OVO002949",

"@type": “Organisatie",

“voorkeursNaam": " Agentschap Informatie Vlaanderen",

“alternatieveNaam": “AIV"

}

{

"@context": {

“Organisatie":"http://www.w3.org/ns/org#Organization",

"voorkeursNaam ": "http://www.w3.org/2004/02/skos/core#prefLabel",

"alternatieveNaam ":"http://www.w3.org/2004/02/skos/core#altLabel"

},

"@id": "http://data.vlaanderen.be/id/organisatie/OVO002949",

"@type": “Organisatie",

“voorkeursNaam": " Agentschap Informatie Vlaanderen",

“alternatieveNaam": “AIV"

}

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

Page 20: OSLO | Aan de slag met semantische standaarden

Voorbeeld: Integratie OSLO via JSON-LD

{

"@context": "http://data.vlaanderen.be/context/organisatie.jsonld"

"@id": "http://data.vlaanderen.be/id/organisatie/OVO002949",

"@type": “Organisatie",

“voorkeursNaam": " Agentschap Informatie Vlaanderen",

“alternatieveNaam": “AIV"

}

Page 21: OSLO | Aan de slag met semantische standaarden

Shapes Constraint Language (SHACL)

Doel: valideren of JSON(-LD) in lijn is met OSLO

Voor het beschrijven van een organisatie

Wordt een attribuut “voorkeursNaam” gespecifieerd

Met als datatype een “string”

Dat minstents 1 keer voorkomt

En werd gedefinieerd door:

http://www.w3.org/2004/02/skos/core#prefLabel

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

Page 22: OSLO | Aan de slag met semantische standaarden

3. Ondersteuning

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

Page 23: OSLO | Aan de slag met semantische standaarden

Documentatie

• OSLO² (https://overheid.vlaanderen.be/producten-diensten/OSLO2)

• Handleiding (https://goo.gl/FL1Ygg)

• Vocabularia (www.data.vlaanderen.be/ns)

• Applicatieprofielen (www.data.vlaanderen.be/ns)

• Tools (http://data.vlaanderen.be/#Tools)

• Standaarden (http://data.vlaanderen.be/#Standaarden)

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

Page 24: OSLO | Aan de slag met semantische standaarden

www.vlaanderen.be\informatievlaanderen

OPEN STANDAARDEN VOOR LINKENDE ORGANISATIES

DCAT-AP validator voor Vlaamse open data

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

Page 25: OSLO | Aan de slag met semantische standaarden

Inhoud

> DCAT-AP Vlaanderen

> Validatietool + demo

> Infosessie 13 december 2017

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

Page 26: OSLO | Aan de slag met semantische standaarden

> Waarom?

Open data makkellijk vindbaar maken

Kwaliteit van de metadata van open data verhogen

Betrouwbare metadata stimuleert correct (her)gebruik van data

> Wat?

Uitwerken van DCAT-AP specificatie voor Vlaanderen

Ontwikkelen van een validatietool om de kwaliteit van de metadata te bewaken

> Hoe?

Instanties kunnen zelf valideren aan de hand van de validatietool en conform de DCAT-AP specificatie voor Vlaanderen

Monitoring (ad hoc) op niveau van het portaal door Vo open data team

> Voor wie?

Vlaamse en lokale overheden die open data willen publiceren via het Vlaams open data portaal

Situering

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

Page 27: OSLO | Aan de slag met semantische standaarden

Datasets vindbaar maken

Europa

Nationaal

Regionaal

gemeentelijk

Vlaams Open Data Portaal (VODAP)http://opendata.vlaanderen.be

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

Page 28: OSLO | Aan de slag met semantische standaarden

> Specificatie voor het beschrijven van datasets en distributies

> Aanbieden van een DCAT-AP catalogus met datasetbeschrijvingen in een machinaal leesbaar formaat (RDF)

> DCAT-AP specificatie voor Vlaanderen

Conform DCAT-AP 1.1 (ISA)

Met bijkomende VODAP-vereisten

Meer info in bijlage 3 open data handleiding

https://overheid.vlaanderen.be/open-data-handleiding

DCAT-AP

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

Page 29: OSLO | Aan de slag met semantische standaarden

Validatie, harvesting en monitoring

Data-leverancier

DCAT AP VL validator

onmiddellijk feedback

DCAT- AP catalogus

1. Dataleverancier kan op eigen initiatief en op eender welkmoment de validator lancerenen krijgt onmiddellijk feedback

VODAPData-

leverancier

harvest job

confirmatie per e-mail

2. dataleverancier zet eenharvest job op richtingVODAP. Opgelet: “rubbish in = rubbish in VODAP”

VODAP

DCAT-AP VLVALIDATOR

Data-leverancier

3. Vo open data team zal ad hoc validatietests op niveau van het portaal uitvoeren en de data-leverancier op de hoogte stellen

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

Page 30: OSLO | Aan de slag met semantische standaarden

Validatie, harvesting en monitoring

DCAT AP catalogus

DCAT AP VLvalidator

fouten?

Ja

aanpassen?

negeer fouten (!) harvest

metfouten

monitoringVo open data team

neeharvest

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

Page 31: OSLO | Aan de slag met semantische standaarden

> Catalogusvereisten

url naar de volledige catalogus (geen paginatieondersteuning)

zelfomvattend

> Twee typische situaties

parsing fouten (syntax)

vocabulariafouten

> technisch (bv. datatype verkeerd)

> inhoudelijk (bv. licentie ontbreekt)

Validatietool - demo

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

Page 32: OSLO | Aan de slag met semantische standaarden

Validatietool - demohttp://opendata.vlaanderen.be/validator

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

Page 33: OSLO | Aan de slag met semantische standaarden

> INBO

Parsing fout

> EANDIS

Enkele technische fouten

Inhoudelijk

Validatietool - eerste ervaringen

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

Page 34: OSLO | Aan de slag met semantische standaarden

> Waar en wanneer?

13/12/2017, 10-12u, VAC Gent

> Inschrijven via https://overheid.vlaanderen.be/kennisnetwerk-vlaams-open-data-platform

> Meer info:

Wat is DCAT-AP en waarom is dit van belang?

Hoe een DCAT-AP catalogus aanmaken?

Hoe een DCAT-AP catalogus valideren?

Hoe een DCAT-AP feed oogsten op VODAP?

> Iedereen welkom!

Infosessie 13 december 2017

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017

Page 35: OSLO | Aan de slag met semantische standaarden

Deze presentatie zal vanaf 4 december

2017 te downloaden zijn op

https://overheid.vlaanderen.be/trefdag-

informatie-vlaanderen

Volg ons op Twitter: @info_vlaanderen

Like us on Facebook

#TIV2017

TS4 – OSLO² en Open Data Trefdag Informatie Vlaanderen - #TIV2017