MODULO OD1: Gli Open data, cosa sono e a cosa servono

Insegnamento di Informatica – a.a. 2015-16

Gli Open data, cosa sono e a cosa servono

INSEGNAMENTO DI INFORMATICA – A.A. 2015-16

Francesco Ciclosi

Macerata, 13 ottobre 2015

Unimc - Dipartimento di Economia e Diritto - Corso di Laurea in Economia: banche, aziende e mercati

© Francesco Ciclosi – Settembre 2015 CC-BY-SA 4.0 – Common Deed – Legal Code


Thomas Jefferson

3º presidente degli Stati Uniti

dal 4/3/1801 al 3/3/ 1809

http://creativecommons.org/licenses/by-sa/4.0/


http://creativecommons.org/licenses/by-sa/4.0/legalcode

http://it.wikipedia.org/wiki/Thomas_Jefferson




As a candle in the … darkness

Chi riceve un’idea da

me, ricava conoscenza

senza diminuire la mia;

come chi accende la

sua candela con la mia,

ha luce senza lasciarmi

al buio.

He who receives an

idea from me, receives

instruction himself

without lessening

mine; as he who lights

his taper at mine,

receives light without

darkening me.




http://www.redbean.com/kfogel/jefferson-macpherson-letter.html




Hans Rosling

È importante avere molti

dati! Se si hanno molti

dati, accade che qualcuno

prende quei dati e ne fa

qualcosa.




http://www.ted.com/talks/hans_rosling_shows_the_best_stats_you_ve_ever_seen.html




Definizione di «Conoscenza Aperta»

Definita dalla Open Knowledge Foundation

Indica varie tipologie di informazioni:

• Musica

• Film

• Libri

• dati (qualsiasi forma/natura)

• informazioni del settore

pubblico (PSI)




http://www.opendefinition.org/okd/




OPERA Aperta (Oggetto o elemento di conoscenza)

Se la modalità di distribuzione soddisfa i requisiti:

• accesso

• ridistribuzione e riuso

• assenza di restrizioni tecnologiche

• attribuzione ed integrità

• assenza di discriminazioni

• modalità di licenza







Requisito di «accesso»

essere disponibile, preferibilmente tramite il

download gratuito via Internet:

• nella sua interezza

• a un costo di riproduzione

ragionevole

• in un formato comodo e

modificabile







Requisito di «Ridistribuzione e riuso»

le modalità di licensing non devono porre nessuna

limitazione alla distribuzione (a qualunque titolo)

dell’opera

• in forma singola

• come parte di un pacchetto

integrante più opere di varia

provenienza







Requisito di «Assenza di restrizioni

tecnologiche»

Deve essere distribuita in un formato aperto

ovvero

Un formato le cui specifiche siano

pubblicamente e liberamente

disponibili e che non imponga

nessuna restrizione al suo utilizzo







Requisito di «attribuzione ed integrità»

La modalità di licenza può richiedere, come

condizioni per la sua ridistribuzione ed il suo

riutilizzo:

• sia la citazione dei vari

contributori e creatori dell’opera

• sia l'indicazione di un nome

o di un numero di versione

diverso dall’opera originaria







Requisito di «assenza di discriminazioni»

La modalità di licenza

adottata non deve

limitare l'utilizzo

dell’opera in un

determinato settore

d’attività, né

discriminare persone o

gruppi







Requisito di «modalità di licenza» Non deve imporre restrizioni

su altre opere distribuite

insieme all’opera licenziata

I diritti relativi all’opera devono

valere per tutte le persone a cui

l’opera viene ridistribuita senza

che sia necessario accettare o

sottostare ad alcuna licenza

aggiuntiva







Open Data … questi sconosciuti

Con dati aperti, o Open Data, si fa riferimento

ad alcune tipologie di dati liberamente accessibili

a tutti, senza restrizioni di copyright, brevetti o

altre forme di controllo che ne limitino la

riproduzione







I «dati» (1)

Sono un’elementare porzione di informazione

caratterizzata da:

• essere una descrizione diretta di fatti, o a loro

chiaramente collegabile;

• appartenere a un sistema di conoscenze o

informazione più ampia;

• acquisire maggiore valore se

contestualizzato e correlato con

informazioni aggiuntive;




http://it.wikipedia.org/wiki/Informazione




I «dati» (2)

Ma anche, caratterizzata da:

• essere riproducibile senza ambiguità,

noti in dettaglio i metodi utilizzati

per la sua generazione;

• essere archiviata in formati digitali;

• essere in grado di generare nuova

conoscenza, mediante sua elaborazione

con applicazioni software




http://it.wikipedia.org/wiki/Dati




Attenzione!!!

Non tutti i dati possono pervenire allo status di

informazione

MA

Solo quelli che, elaborati, organizzati, strutturati

e contestualizzati, diventano effettivamente

utilizzabili.







Il «ciclo» del dato

DATI RAW Scelta del dataset

Pulizia del dato

Scelta della licenza

Scelta del formato

Pubblicazione SERVIZI







I 10 Comandamenti dei dati aperti







1 – Disponibili a tutti

Disponibili a tutti (Non-proprietary)

• I dati devono essere utilizzabili attraverso programmi,

applicazioni e interfacce non proprietarie. I dati devono

essere pubblicati e riusabili in formati non proprietari







2 – Con licenza aperta

Con licenza aperta (License-free)

• Ai dati pubblicati in rete in versione

«open» non possono sottendere

copyright o diritti intellettuali, ne

brevetti che possano limitarne

l’accesso o l’utilizzo o il riuso da

parte degli utenti







3 – Riusabili

Riutilizzabili (Reusability)

• Gli utenti devono poter riutilizzare e integrare i dati, fino a

creare nuove risorse, applicazioni e nuovi servizi







4 - Ricercabili

Ricercabili (Searchability)

• Deve essere possibile

ricercare con facilità e

immediatezza dati e

informazioni di proprio

interesse, mediante strumenti

di ricerca ad hoc, come

database, cataloghi e motori

di ricerca







5 - Permanenti Permanenti (Permanent)

• Le caratteristiche devono permanere per il ciclo del dato







6 - Completi

Completi (Complete)

• I dati devono comprendere

tutte le risorse che

consentono di esportarli,

utilizzarli online e offline,

integrarli e aggregarli con

altre risorse e diffonderli in

rete







7 - Significativi

Significativi

(Primary)

• I dati devono essere

sufficientemente

granulari, in modo

da poter essere

aggregati ad altri dati

e/o risorse

disponibili in rete







8 - Tempestivi

Tempestivi (Timely)

• I dati sono resi disponibili

tempestivamente così che ne

sia preservato il valore







9 - Accessibili

Accessibili (Accessible)

• I dati sono fruibili e

utilizzabili attraverso i

protocolli internet, senza

alcuna sottoscrizione di

contratto, pagamento,

registrazione o richiesta

ufficiale







10 – Leggibili dai programmi

Leggibili dai programmi

(Machine processable)

• I dati devono essere leggibili

da computer per garantir agli

utenti la piena libertà di

accesso, utilizzo e

integrazione (machine-readable)







11 - Imparziali

Imparziali (Non-discriminatory)

• La modalità di licenza adottata per

rilasciare i dati non ne deve limitare

il loro utilizzo in un determinato

settore d’attività, né discriminare

persone o gruppi







Dati Aperti

Si parla di dati aperti a proposito di dati

liberamente accessibili in rete, senza restrizioni

di copyright, brevetti o altre forme di privativa

che ne limitino la riproduzione o il riuso

Quando i dati pubblicati in formato aperto sono

prodotti da enti governativi e sono riutilizzabili

da chiunque anche per scopi commerciali,

costituiscono gli Open Government Data







Grado di apertura dei formati elettronici Formato Può essere

estratto il testo?

Machine

Readable?

Specifiche

disponibili?

Formato

aperto?

Plain Text (.txt) Si Si Si Si

Comma Separated Value (.csv, .txt) Si Si Si Si

Hyper Text markup Language (.html,

.htm) Si Si Si Si

Extensible Markup Language (.xml) Si Si Si Si

Microsoft Word (.doc, .docx) Si No Si No

Microsoft Excel (.xls, .xlsx) Si Si Si No

Resource Description Framework (.rdf) Si Si Si Si

Portable Document Format (.pdf) No No Si Si

Open Document Format (.odt, ods, …) Si Si Si Si

Image files (.jpg, .tiff, .tif, ….) No No Si Si







Rights Use conditions Distribution conditions

TIPO

LICENZA share remix create

No

Derivative

Work

non

Commercial shareAlike attribution

No

Copyright

Condition CC by-nc-nd yes no no yes yes no yes no CC by-nd yes no no yes no no yes no CC by-nc yes yes yes no yes no yes no CC by-nc-sa yes yes yes no yes yes no no CC by-sa yes yes yes no no yes yes no IODL 1.0 yes yes yes no no yes yes no ODC-By yes yes yes no no yes yes no CC by yes yes yes no no no yes no IODL 2.0 yes yes yes no no no yes no ODbL v1.0 yes yes yes no no no yes no CC0 yes yes yes no no no no yes PDDL v1.0 yes yes yes no no no no yes

LiMo Knowledge extraction







Serie1

0

1

2

3

4

5

6

Op

en

ess

Licensing

CC by-sa ≡ IODL 1.0 ≡ ODC

by

CC0 ≡ PDDL v1.0

CC by ≡ IODL 2.0 ≡ ODbL

v1.0

Equivalent Licensing Il business opendata passa per la licenza

che garantisce il riuso più libero e la

distribuzione più ampia.







5 data

Tim Berners-Lee prefigura

un web pensato in

funzione di dati condivisi

Per rendere accessibili i

dati riformulando il modo

in cui li usiamo




http://www.ted.com/talks/tim_berners_lee_on_the_next_web.html




Il diagramma a 5 stelle Num. Stelle Caratteristiche del Linked Data

Disponibile sul web (con qualsiasi formato) ma con una licenza aperta

Disponibile come dato strutturato ed automaticamente processabile

Disponibile come dato strutturato, automaticamente processabile e

che utilizza formati aperti


che utilizza formati aperti. Inoltre si avvale degli standard aperti

definiti dal W3C (RDF e SPARQL) per identificare gli oggetti


che utilizza formati aperti. Inoltre si avvale degli standard aperti

definiti dal W3C (RDF e SPARQL) per identificare gli oggetti, nonché

collega i propri dati ai dati delle altre persone al fine di definirne il

contesto




http://www.w3.org/DesignIssues/LinkedData.html




5 stelle in breve







HTML

È il «linguaggio» di markup solitamente usato per i documenti ipertestuali nel

World Wide Web




http://it.wikipedia.org/wiki/Html




Criticità di HTML

Non è dotato di strumenti atti ad esprimere la

semantica, ovvero il significato attribuibile al tipo

di relazione che lega tra di loro due differenti

informazioni

Non consente l’estrapolazione e la

contestualizzazione delle informazioni contenute

nelle pagine web, da parte di software in grado di

processarle automaticamente







Web semantico

L’evoluzione del web prevede il passaggio da rete di

documenti a rete di dati

DOVE

I documenti sono arricchiti di contenuto informativo

DIVENTANO

Dati processabili direttamente o indirettamente anche

con strumenti automatici




http://it.wikipedia.org/wiki/Web_semantico




Cosa sono i Linked Open Data (Fonte: dati.culturaitalia.it)




http://194.242.241.172/dati




Universal Resource Identifier







URI: istruzioni per l’uso

utilizzarli come nomi per gli oggetti

utilizzare gli URL (= URI + protocollo HTTP)

affinché sia possibile cercare tali oggetti

quando qualcuno cerca un URI, fornire

informazioni utili, utilizzando gli standard

(* RDF, SPARQL)

includere collegamenti ad altri URI, per poter

scoprire più oggetti




http://www.w3.org/DesignIssues/LinkedData.html




Caratteristiche dei Linked Data

Aperti accessibili attraverso una varietà

illimitata di applicazioni

Modulari possono essere combinati (mashed-

up) con qualsiasi altra porzione di L.D.

Scalabili semplicità di aggiunta di più L.D. a

quelli già esistenti, anche se i termini e le

definizioni usate cambiano nel tempo




http://www.w3.org/DesignIssues/GovData.html




RDF

È un formalismo utilizzabili per descrivere i dati

(data model)

IDENTIFICA




http://it.wikipedia.org/wiki/RDF-Schema




Resource Description Framework

Le proprietà sono RELAZIONI che legano tra di

loro risorse e valori (identificate da URI)

Un valore è un tipo di dato primitivo; può essere

una stringa (contenente l’URI di una risorsa)

Lo statement è l’unità base per rappresentare

un’informazione in RDF

RISORSA

PROPRIETÀ

VALORE







Grafo (data set)

Il data set è serializzabile mediante vari formati

che comunque non alterano il data model RDF







Un esempio

1. Il Signor Ciampi vive a Roma.

2. Il Signor Ciampi ha codice fiscale

CMPCLZ20T09E625V.

Asserzione 1 Asserzione 2

Soggetto Il Signor Ciampi Il Signor Ciampi Risorsa

Predicato vive a ha codice fiscale Proprietà

(relazione)

Oggetto Roma CMPCLZ20T09E625V Valore







Grafo serializzato con Notation3

Il Signor Ciampi http://www.quirinale.it/qrnw/statico/ex-

presidenti/Ciampi/cia-biografia.htm

vive a http://it.wiktionary.org/wiki/vivere

Roma http://www.comune.roma.it/index.asp

ha codice fiscale http://it.wikipedia.org/wiki/codice_fiscale Soggetto: <http://www.quirinale.it/presidente/ciampi.htm>

Predicato: <http://it.wiktionary.org/wiki/vivere>

Oggetto: <http://www.comune.roma.it/index.asp>.

Soggetto: <http://www.quirinale.it/presidente/ciampi.htm>

Predicato: <http://it.wikipedia.org/wiki/codice_fiscale>

Oggetto: "CMPCLZ20T09E625V".







Linked Data Cloud

Update:

agosto

2014




http://lod-cloud.net/versions/2014-08-30/lod-cloud.svg




Oltre il modello relazionale

Open World Assumption «un’informazione

mancante non implica necessariamente la sua

inesistenza»

Nella rete semantica la conoscenza non è mai

completa; si tratta di un processo in continuo

divenire

Il dato inizialmente mancante potrebbe rendersi

poi disponibile (database globale, non finito)




http://en.wikipedia.org/wiki/Open_world_assumption




Per approfondimenti

S.A.T.A. – Per la definizione

architetturale di un Sistema

di Accesso alla Trasparenza

Amministrativa

Edizioni Montag

Settembre 2012







I miei contatti linkedin

http://it.linkedin.com/pub/francesco-ciclosi/62/680/a06/

facebook

https://www.facebook.com/francesco.ciclosi

twitter

@francyciclosi

www

http://www.francescociclosi.it




Presentations & Public Speaking

MODULO OD1: Gli Open data, cosa sono e a cosa servono