Atvērtie saistītie dati(Linked Open Data)

Uldis Bojārsuldis.bojars@gmail.com

LU Datorikas fakultāte29-Apr-2013

Saistīto datu “ģimene”

• Linked Data (saistītie dati)– principi datu publicēšanai tīmeklī

• Open Data (atvērtie dati)– informācija, kas ir brīvi un publiski izmantojama– publiskā sektora (valsts, ...) atvērtie dati

• Linked Open Data (atvērtie saistītie dati)– a) atvērtie dati + saistītie dati– b) Linking Open Data [community] project

Linked Data

(saistītie dati)

"Linked Data is the Semantic Web done right, and the Web done right”

Tim Berners-Lee – LDoW 2008

Proposal

http://www.w3.org/History/1989/proposal.html

Tim Berners-Lee. „Weaving the Web” http://www.w3.org/People/Berners-Lee/Weaving/

URI

• Uniform Resource Identifier (URI)– vienota formāta teksta virkne, kas ļauj identificēt

resursus (tīmekļa lapas, u.c.)– veidi = URL un URN– ietver protokolu (URL gadījumā) vai URN shēmu

http://www.df.lu.lv/par/

http://www.w3.org/People/Berners-Lee/card#i

HTTP

• HyperText Transfer Protocol (HTTP)– klienta-servera datu apmaiņas protokols,

kas ir tīmekļa uzbūves pamatā– izmantojam ikdienā, par to daudz nedomājot

> GET /par/ HTTP/1.1> Host: www.df.lu.lv

< HTTP/1.0 200 OK< ...

Web of Data

( Datu tīmeklis )

• datoram saprotami dati– ne tikai tīmekļa lapas

• globāli un publiski pieejami– to nodrošina tīmeklis

• saistīti savā starpā (linked)

Linked Data Principles

1. Use URIs as names for things 2. Use HTTP URIs so that people can look up

those names. 3. When someone looks up a URI, provide

useful information, using the standards- RDF, SPARQL

4. Include links to other URIs. so that they can discover more things.

http://www.w3.org/DesignIssues/LinkedData.html

10

Pamati

• URI – Uniform Resource Identifier– Vienota norāžu (identifikatoru) sistēma – lietojot

vienu URI mēs varam būt droši, ka runājam par vienu un to pašu lietu / jēdzienu

• RDF – Resource Description Framework– Resursu apraksta ietvars (formāts) – ļauj izteikt

apgalvojumus vienkāršu teikumu (“trijnieku”) formā – “Trijnieki” kas sastāv no teikuma priekšmeta (subject),

īpašības (property) un vērtības / objekta (object)

RDF izteikumi

Subject Predicate Object

Vienkārši, nepaplašināti teikumi.

RDF grafs

13

RDF vārdnīcas / ontoloģijas

• Lai mēs varētu izteikt apgalvojumus par pasauli un lietām tajā, ir nepieciešami vārdi – lietām, darbībām, ...

• RDF vārdnīcas un ontoloģijas apraksta pasaules modeli un dod lietām vārdus (URI), kas ļauj uz tām viennozīmīgi atsaukties veidojot RDF “trijniekus”

• Klases – rdfs:Class; rdf:type; rdfs:subClassOf• Predikāti – rdf:Property; rdfs:subPropertyOf;

rdfs:range; rdfs:domain

14

Ontoloģiju piemēri

• Dublin Core Metadata Terms– http://dublincore.org/documents/dcmi-terms/– Objektu metadatu informācija

• Friend of a Friend (FOAF) Vocabulary– http://xmlns.com/foaf/spec/– Informācija par cilvēkiem un to sociālajiem tīkliem

• Semantically-Interlinked Online Communities (SIOC)– http://rdfs.org/sioc/spec/– Informācija par cilvēku radīto saturu (sociālajā tīmeklī)

Plašāka informācija

• Short introduction to the Semantic Web– Ivan Herman, 2010-06-04– http://www.w3.org/People/Ivan/CorePresentation

s/IntroThroughExample/

• Linked Data– http://linkeddata.org/

Open Data

(atvērtie dati)

“Data is a 21st century commodity: it’s the new oil.

There’s almost no limit to the economic and social

wonders it can generate: ...”

Neelie Kroes (at OKFN 2012), VP of the European Commission and Commissioner for the Digital Agenda

“A piece of data or content is open if anyone is free to use, reuse, and

redistribute it —

subject only, at most, to the requirement to attribute and/or share-alike.”

The Open Definition:http://opendefinition.org/

Motivācija datu atvērtībai

• Publiskā sektora informācijas (PSI) atvērtība• Mērķi:– publiskā sektora (valdības, ...) iestāžu darbības

caurspīdīgums, atklātība– veicināt iedzīvotāju aktivitāti un iesaistīšanos– uzlabot publiskā sektora iestāžu efektivitāti un

iekšējo komunikāciju– veicināt inovācijas un ekonomisko aktivitāti

ES PSI direktīva

• 2003. gada ES PSI (Public Sector Information)direktīvas revīzija

1. “If you make it public, it should be open for everyone to reuse”

2. Includes cultural heritage (libraries, museums, archives) data

3. Explicit mention of “machine readable” formats and metadata

4. Where charges exist, they will be capped at "marginal costs incurred for their reproduction and dissemination".

ES PSI direktīva

• The best way to get value from data is to give it away– The Guardian– http://www.guardian.co.uk/world/datablog/2011

/dec/13/eu-open-government-data

• The new PSI Directive – as good as it seems?– Open Knowledge Foundation– http://blog.okfn.org

/2013/04/19/the-new-psi-directive-as-good-as-it-seems/

http://open-data.europa.eu/en

UK Open Data Institute• Non-profit, est. 2012• 10 million GBP funding from

the UK Technology Strategy Board

... will catalyse an open data culture that has economic, environmental and social benefits.

...will convene world-class experts to collaborate, incubate, nurture and mentor new ideas, and promote innovation.

... will enable anyone to learn and engage with open data, and empower our teams to help others through professional coaching and mentoring.

http://datahub.io

http://opendata.lv

Atvērtie dati Latvijā

• Atvērto datu interešu grupa– http://groups.google.com/group/opendata_lv

• OpenData.LV– Atvērto datu kopas: http://data.opendata.lv/

• Valsts līmenī notiek konsultācijas par PSI direktīvas ieviešanu (bet pagaidām nav “taustāmi” rezultāti = atvērti dati)

Saeimas balsojumu dati

• Dati tika “atvērti” (savākti no Saeimas lapas, apstrādāti un vizualizēti) 2. Latvijas atvērto datu “hakatona” laikā

• Exploring the Networks in Open Public Data– Uldis Bojārs, Valdis Krebs, Pēteris Ručevskis– http://www.slideshare.net/CaptSolo/exploring-the

-networks-in-open-public-data-13391338

Atvērto datu veidi

• Valdības dati• Pašvaldību dati• Kultūras mantojuma dati• Izglītības un zinātnes organizāciju dati• Portālu un ziņu aģentūru dati– ar rakstiem saistītā informācija

• “Crowdsourced” dati– cilvēki, sociālais tīmekli

• ... citu organizāciju un cilvēku apkopoti dati ...

University of Southampton

• universitātes atvērtie dati– http://data.southampton.ac.uk/– publicē atvērtos datus kopš 2006. gada

• piemēram:– universitātes kursu informācija– ēku elektrības patēriņš

• data.ac.uk launched in March 2013.– It will provide a hub for linked data in .ac.uk

open data services, and aggregate open data from UK academia.

Lielveikalu produktu cenas

• “A bill to allow shoppers instant, online access to supermarket prices, product by product and store by store will be introduced to Parliament this week”

– http://www.theodi.org/news/gains-opening-supermarket-pricing-information-%E2%80%9Cshould-not-be-under-estimated%E2%80%9D-says-odi

Open + Linked Data

(atvērtie + saistītie dati)

http://www.ted.com/talks/tim_berners_lee_on_the_next_web.html

LOD project

• Linking Open Data community project– http://www.w3.org/wiki/SweoIG/TaskForces/CommunityProjects/

LinkingOpenData– (sk. jaunumus News sadaļā)

• Sākumā: entuziastu grupas projekts esošo datu kopu “atvēršanai” un “linkošanai”– DBPedia - http://dbpedia.org/About

• Pilnībā atbilst saistīto datu definīcijai– 1) URI, HTTP, RDF, ...– 2) saites datu kopu starpā

http://inkdroid.org/journal/2010/06/04/the-5-stars-of-open-linked-data/

Linking Open Data cloud diagram (Sept 2011), by Richard Cyganiak and Anja Jentzsch. http://lod-cloud.net/

• Virtual Internet Authority File– saites no Wikipedia– Jānis Rainis: http://viaf.org/viaf/77113948/ • => http://libris.kb.se/auth/85912 => DBPedia

• DBPedia– Jānis Rainis: http://dbpedia.org/page/Rainis• => http://dbpedia.org/page/Category:Latvian_poets

The Europeana library

• Metadata for all Europeana objects is open, available under a CC0 license– http://pro.europeana.eu/linked-open-data

• Large subset of this data was transformed to and published as linked data – http://pro.europeana.eu/datasets

• Data is represented using the Europeana Data Model (EDM) [ontology]

Saistīto datu izmantošana

• SPARQL vaicājumu valoda– RDF grafiem paredzēta valoda, līdzīga SQL– http://www.w3.org/TR/sparql11-overview/– ļauj uzdot RDF (saistītajiem) datiem dažāda

veida vaicājumus

• DBPedia– Online Access: http://dbpedia.org/OnlineAccess#h28-

6– piem.: “cilvēki, kas dzimuši Rīgā pirms 1900 gada”

SPARQL piemērs

PREFIX dbo: <http://dbpedia.org/ontology/>

SELECT ?name ?birth ?death ?person WHERE { ?person dbo:birthPlace :Riga . ?person dbo:birthDate ?birth . ?person foaf:name ?name . ?person dbo:deathDate ?death . FILTER (?birth < "1900-01-01"^^xsd:date) .}ORDER BY ?name

Atvērtie + saistītie dati

Kā atvērto datu projekti izmanto saistīto datu tehnoloģijas?

• “The UK government is convinced linked data is the best approach available – for publishing data in a hugely diverse and

distributed environment, – in a gradual and sustainable way.”

• source: “Why Linked Data for data.gov.uk?”– http://www.jenitennison.com/blog/node/140

Atvērtie + saistītie dati

1. Datu kopu metadatu katalogi– metadatu shēmas / vārdnīcas / ontoloģijas

2. URI = objektu identifikatori– vienota objektu identifikācijas kārtība

3. Pilnvērtīgi saistīto datu avoti– RDF dati (+ citi datu veidi)– saites datu kopu starpā

URI = objektu identifikatori

• Lielbritānijā: – URI veidošanas kārtība noteikta valsts līmenī

• Designing URI Sets for the UK Public Sector– http

://www.cabinetoffice.gov.uk/resource-library/designing-uri-sets-uk-public-sector

• Piemērs:– http://{domain}/doc/{concept}/{reference}– http://data.archiveshub.ac.uk/id/person/ncarules/skinnerbeverley193

8-1999artist

– Dažādi URI veidi:• Identifier URI, Document URI, Representation URI

Datu kopu katalogi

• data.gov.uk– izmanto CKAN.org programmatūru– datu kopu katalogam ir JSON API• http://data.gov.uk/dataset/england-national-crime-

mapping

• EU open data portal– Dataset catalogue = SPARQL endpoint• http://open-data.europa.eu/en/linked-data

Linking Open Data cloud diagram (Sept 2011), by Richard Cyganiak and Anja Jentzsch. http://lod-cloud.net/

Southampton University

• Where possible we aim to provide the data as full data. Most datasets are ★★★★★available as RDF+XML and Turtle.– http://data.southampton.ac.uk/faq.html

• However, that may be a long process, and we would rather make good data available now, than perfect data the day after tomorrow.

Piemērs

• Dataset: Southampton Bus Information– http://data.southampton.ac.uk/dataset/bus-

info.html

• datu kopas metadati• URI identifikatori: pieturām, maršrutiem• dati RDF formā (RDF/XML, Turtle)

Piemērs

• Dataset: BBC Music data– http://datahub.io/dataset/bbc-music

• datu kopas metadati (datahub.io)• datu piemēri (SPARQL endpoint, RDF/XML)

• URI identifikatori: izpildītāji, albumi, ...• dati RDF formā (RDF/XML)

Kopsavilkums

• Saistītie dati– tehnoloģija [saistītu] datu publicēšanai tīmeklī

• Atvērtie dati– informācija, kas ir brīvi un publiski izmantojama– publiskā sektora atvērtie dati ir aktuāla tēma

• Atvērtie saistītie dati– LOD projekts– atvērtie + saistītie dati

• URI identifikatori, datu kopu metadati, saistītie dati

Diskusija

1. Kādi atvērto datu veidi jūs interesē vai būtu jums vajadzīgi?

2. Kas nepieciešams atvērto datu attīstībai Latvijā?

3. Kādas (jūsuprāt) ir sakarības starp atvērtajiem datiem un saistītajiem datiem?