open data

for Aquila

l’economiadella conoscenza

dati aperti

senza copyrighte disponibiliper il riuso

i n s i d e o u t 1 0lunedì 5 maggio 14

la presentazione è estratta dai contributi open pubblicati in internet e dalla partecipazione diretta all’opendataday e all’opengeodata, corso di formazione PA, in Roma. In particolare: . Formez, Gianfranco Andriola . Comune Firenze, Emanuele Geri . Open Knowledge Foundation, Maurizio Napolitano . Lombardia Informatica, Daniele Crespi supporto grafico: mary heilmann art - europaconcorsi (ponti, incroci, infrastruttura)

lunedì 5 maggio 14

gli Open Data sono: dati leggibili dalle macchine

Open Definition di Open Knowledge Foundation

«un contenuto o un dato si definisce aperto se chiunque è in grado di utilizzarlo, ri-utilizzarlo e ridistribuirlo, soggetto, al massimo, alla richiesta di attribuzione e condivisione allo stesso modo»

La Open Knowledge Foundation è‘Fondazione per la conoscenza aperta’ è una Organizzazione non profit con lo scopo di promuovere l'apertura dei contenuti e i dati aperti. Fu fondata il 24 maggio 2004 a Cambridge (Regno Unito). La fondazione ha pubblicato la definizione di Conoscenza aperta e partecipa a diversi progetti come il: Comprehensive Knowledge Archive Network e supporta lo sviluppo della Open Database Licensehttp://opendatamanual.org/ - Documento redatto dall’Open Knowledge Foundation

il responsabile per l’Italia della Knowledge foundation èMaurizio Napolitano - Fondazione Bruno Kessler

filosofiaepraticaopen

lunedì 5 maggio 14

"Un giorno le macchine risolveranno tutti i problemi,ma mai nessuna di esse riuscirà a formularne uno"

A. Einstein

HREF: fondazione per la qualità dell’informazionees.. il Data journalism

http://www.innovatoripa.it

lunedì 5 maggio 14

open data: categorie

dati cartografici

scientifici, medici, bioscienze

genetica, chimica ...

dati anagrafici

dati governativi

dati territoriali

attivazione, verifica\impatto e monitoraggio politiche sociali

gestione del territorio

i tag più diffusi portaledati.gov.it:

popolazioneterritorio2012\2013ambiente

cartografiastatistica

2006\2011turismoelezioni

commercio

La PA da sempre raccoglie e archivia informazioni sulle tematiche più disparate. Oggi la PA ha la possibilità di restituire il patrimonio informativo accumulato e aggiornato alla comunità e agli operatori economici di settore. FORMEZ Pa

lunedì 5 maggio 14

L'open data si richiama alla più ampia disciplina dell’open government:tutte le attività dei Governi e delle Amministrazioni dello Stato devono essere aperte e disponibili per favorire azioni efficaci e garantire un controllo diffuso sulla gestione della cosa pubblica.

trasparenza partecipazione collaborazione

open data: la legislazione italianaCodice dell'Amministrazione Digitale (D. Lgs. n. 82/2005) prevede il principio di “disponibilità dei dati pubblici” (enunciato all’art. 2, comma 1, e declinato dall’art. 50, comma1) consiste nella possibilità, per soggetti pubblici e privati, “di accedere ai dati senza restrizioni non riconducibili a esplicite norme di legge ”(art.1, lett. o)

(art. 11, D. Lgs. n.150/2009)"accessibilità totale (...) delle informazioni concernenti ogni aspetto dell’organizzazione, degli indicatori relativi agli andamenti gestionali e all’utilizzo delle risorse per il perseguimento delle funzioni istituzionali, dei risultati dell’attività di misurazione e valutazione ”

obiettivi di (art. 12, D. Lgs. n. 82/2005).efficienza, efficacia, economicità, imparzialità, trasparenza, semplificazione e partecipazione”

lunedì 5 maggio 14

quando un dato è aperto?

scegliere il proprio piano pensionistico in USA

prospetto ad hoc

dati da

enti pubblici che rilasciano propri dati in formato open

•Department of Labor•Securities and Exchange Commission

•U.S. Census Bureau•Equal Employment Opportunity Commission

•Bureau of Labor Statistic

economia

BrightScope 3 ml in 2012previsti 10 nel 2013 Utenti: prospetto ad hoc

a costo vantaggioso (da 700 a 80 dollari)

lunedì 5 maggio 14

se uno Stato realizza un’infrastrutturasiamo poi noi utenti e operatori a dareil valore a quel bene secondo domande e opportunità di mercato, o per erogare servizi di pubblica utilità.

open data : economia della conoscenza

infrastruttura stradale : economia tradizionale

lunedì 5 maggio 14

rimane da risolvere socialmente la perdita e la riconversione dell’attuale

struttura di erogazione di servizi

lunedì 5 maggio 14

i dati come il carburante nella II Rivoluzione Industriale

La terza RivoluzioneIndustriale

I Carbone II Petrolio III Dati

altre correnti, mondo dei makers, terza rivoluzione industrialeriferendosi alla stampa 3D/4D

«Mentre i "nativi digitali" erano concentrati su quello che potevano fare in modo nuovo con le tecnologie, i "nativi dei dati" sono soprattutto interessati a quello che le nuove tecnologie possono fare per loro» Monica Rogati

nativi digitali nativi dei dati

lunedì 5 maggio 14

essere guidati dalla domanda

file non strutturati in formati immagine come .gif, .jpg, .png, o in formati proprietari come Microsoft Word o Adobe Pdf

inserire i dati nel contesto

supportareconversazioni intorno ai dati

creare capacitàcompetenze e

network

collaboraresui dati come

una risorsa comune

dati strutturati ma codificati con un formato proprietario (es. in formato Microsoft Excel)

dati strutturati e codificati in un formato non proprietario (es. in formato .csv)

dati strutturati e codificati in un formato non proprietario e dotati di un URI che li rende indirizzabili sulla rete e quindi utilizzabili direttamente online

Linked Open Data (LOD), ovvero dati aperti (classificati a quattro stelle) che hanno collegamenti mediante link ad altri dataset

ascolto richiestee risposta con dati

aggiornamentomanuali - analisi

struttura scelte supporto

descrizione dati formato - qualità

permessi commenti contatti per domande

discussioni off line

link per lavorare guida analisi

interesse esternoalla comunità

feedback per migliorare datasets API nuove risorse

connessioni datasetsriuso

http://www.w3.org/2012/06/pmod/pmod2012_submission_5.pdfTim DavisTim Berners Lee

the five stars of Open Data engagement

obiettivicreare comunità

intorno ai datie passare dagli

ingredienti di una pietanza almomento in cui

la si mangia

4

5

3

2

1

4

5

3

2

1

lunedì 5 maggio 14

Prodotto del più ampio progetto delle Linee guida per i siti web della PA, strutturato in due parti principali:

• Parte I - PA e dati aperti, introduce il concetto di Open Government, la prassi dell'Open Data e presenta un approfondito quadro normativo sui due temi. Questa prima parte si articola nei seguenti quattro capitoli: 1. Open Government; 2.Open Data; 3.Quadro Normativo; 4.Come avviare il processo di apertura dei dati

• Parte II – Come procedere per aprire i dati della PA, contiene la descrizione degli aspetti tecnici, organizzativi e giuridici da affrontare prima di rendere disponibili i dati dell’Amministrazione. La seconda parte si articola nei seguenti cinque capitoli: 5.Organizzarsi per l’apertura dei dati; 6.Identificazione dei dati; 7. Analisi dei dataset; 8.Pubblicazione del Dataset; 9.Diffusione del Dataset

Vademecum su Open Data

Licenza italiana per i dati aperti Progettata per permettere a tutte le pubbliche amministrazioni italiane di diffondere i propri dati, la licenza I è stata sviluppata da Formez PA e ha lo scopo di promuovere la “liberazione” e valorizzazione dei dati pubblici secondo la linea già tracciata dal Ministero per la pubblica amministrazione e l'innovazione con la pubblicazione del nuovo Codice dell’amministrazione digitale, che all’Articolo 52 pone in primo piano la responsabilità delle pubbliche amministrazioni nel rendere disponibili i propri dati in modalità digitale.

italian Open Data License (IODL)www.formez.it/iodl

Fonte portale dati.gov

Discussione onlinePer alimentare la discussione online sul Portale Dati.gov.ti, sulla Licenza IODL e più in generale sul tema open data è stato creato un gruppo su Innovatori PA, community promossa da Formez PA e Forum PA che raccoglie più di 4000 operatori del settore pubblico. Su Innovatori PA vengono inoltre segnalate iniziative, convegni, seminari online dedicati ai temi dell’open data e dell’open government.http://www.innovatoripa.it/groups/open-governmenthttp://www.spaghettiopendata.org

• Creative Commons by• internet CCO• autocertificazione Open Data Istitutehttps://certificates.theodi.org/

Altre Licenze

lunedì 5 maggio 14

NAME identificativo univocoTITLE titolo dataset (lo legge utente )THEME area tematica associata (Eurovoc 1)DESCRIPTION descrizione estesa datasetCREATOR/name nome produttore datasetM BOX e-mailPUBLISHER nome di chi pubblicaM BOX MANTEINER responsabile pubblicazioneISSUED/CREATED data di creazione e rilascioMODIFIED data di modificaLICENZA formato licenzaLANDING PAGE URL dove è descritto (.. può scaricare)THEME (groups) insieme al quale è associato (Eurovoc 2)SPATIAL copertura spazialeDISTRIBUTION (resources) forme in cui il dataset è disp. (API ..)TITLE nome della risorsaFORMAT formato della risorsa (estensione)ACCES/DOWNLOAD link download o API o end point spqrlCREATED data creazione risorsaMODIFIED data modifica risorsa

metadati per cataloghi open data - CKANcampi descrittivi definiti da Agenzia Italia Digitale

lunedì 5 maggio 14

infograficadistribuzione dataset open

in Italia

lunedì 5 maggio 14

2 esempi in Italia di open-geo-dataFirenze

Lombardia

http://www.opengeodata.it

i dati

• statici(biblioteche, musei ..)

• variabili(semafori, rastrelliere bici ..)

• dinamici(eventi nei luoghi)

• in tempo reale(posti nei parcheggi, sensori ..)

lunedì 5 maggio 14

Piattaforma Tecnologica - open data

piattaforma di pubblicazione degli open data sviluppata e promossa dalla Open Knowledge Foundation utilizzata per il catalogo nazionale di molti paesi (USA, UK, Brasile, Parlamento Europeo…)

CKAN

è un software open source che permette di catalogare i dataset e descriverli traverso una serie di metadati che da un lato aiutano gli utenti a navigare tra le informazioni e dall’altro favoriscono l’indicizzazione degli stessi dataset sui motori di ricerca.

CKAN

è costruito con Python per il backend e Javascript per quello che riguarda il frontend. Il suo motore di database è PostgreSQL e la sua ricerca è alimentato da SOLR. CKAN ha una architettura modulare che permette estensioni da sviluppare per fornire funzionalità aggiuntive. Il sistema di catalogazione utilizza il proprio modello interno per archiviare i metadati sui diversi record, e li presenta in una interfaccia web che permette agli utenti di selezionare e cercare tra i metadati

CKAN

la peculiarità principale è Harvesting, cioè permette l’importazione automatica dei dataset pubblicati dagli altri data store tramite APICKAN

lunedì 5 maggio 14

le interfacce di accesso ai contenuti cataloghi dataset

è un framework che può generare animazioni bidimensionali o tridimensionali d’altissimo livello su qualunque device o sistema operativo.

famo.us d3js.orglibreria javascript per la visualizzazione dati .. numerici

lunedì 5 maggio 14

UN ESEMPIOdi Programma/Progetto per la creazione di dataset open da un sistema

di rilevamento effettuato tramite sensori disposti sul territorio

esiste in Italia dal 2008 ISPRA: Istituto Superiore per la Protezione e Ricerca Ambientale

dal quale dipende il Servizio Mareografico Nazionale.Il SMN fornisce dati, pareri e consulenze a chiunque ne faccia richiesta e supporta gli

enti locali e gli altri enti pubblici e di diritto pubblico.

lunedì 5 maggio 14

by sciamlab e insideout10

MAREOGRAFICO

maresensoriventoidrometricamareografosondaacquaondeanomaleinformazionivelapescasolebarometroultrasuonispiaggiamaresensoriventoidrometricamareografosondaacquaondeanomaleinformazionivelapescasolebarometroultrasuonispiaggiamareog

maresensoriventoidrometricamareografosondaacquaondeanomaleinformazionivelapescasolebarometroultrasuonispiaggiamareventopesceacquaqualitài

for open data

maresensoriventoidrometricamareografosondaacquaondeanomaleinformazionivelapescasolebarometroultrasuonispiaggiamareventopesceacquaqualitàpressionevlbrezzavelamaretrotaondepression

lunedì 5 maggio 14

for open data

mareografico

data opendata

linkedopendata

oggidata 6/12

mesiopen data

6/18 mesi

linked open data

PR

OG

RA

MM

A

Step I° Step II°

- portale open L(O)D

by sciamlab e insideout10lunedì 5 maggio 14

benefit open data = rendere leggibili i dati alle macchine

by sciamlab e insideout10for open data

mareografico

gli Open Data aiutano a prendere

decisioni migliori nella nostra vita, e

consentono di essere più attivi nella

società.

rendere open data strutturaledistinguere in categorie i dataset1. STATICI - es. ubicazione2. VARIABILI - sensori3. DINAMICI - eventi4. IN TEMPO REALE

API di publisching per dataset variabili

perchè•Trasparenza e controllo

democratico•partecipazione•Aumento possibilità di scelta•Prodotti e servizi privati, nuovi o

migliorati• Innovazione•Miglioramento e maggiore

efficienza dei servizi pubblici•Misurazione dell'impatto delle

politiche•Nuove conoscenze da fonti di dati

combinati e modelli di grandi volumi di dati

Open data ha una grande valenza economica. Diversi studi hanno stimato il valore economico dei dati aperti a diverse decine di miliardi di euro

ogni anno nella sola Unione europea .

Nuove combinazioni di dati possono creare nuove conoscenze e intuizioni, e nuovi campi di applicazione . Abbiamo visto come nella Londra del 19 ° secolo, il

dottor Snow scoprì la relazione tra l’inquinamento dell'acqua potabile e il colera, combinando i dati su morti di colera con la posizione dei pozzi d'acqua .

BIG DATAOPEN DATA

LINKEDOPEN DATA

smart citiessensori

businessintelligence

open gov

community corporate

data

lunedì 5 maggio 14

by sciamlab e insideout10for open data

mareografico

dati grezzigrezzi e subito perché i dati scadono, e perché

sappiamo gestirli anche se non rifiniti e certificati

Gratis perché gli introiti che una PA ottiene dalla vendita di tali dati è minima rispetto agli introiti di

fiscalità generale

dati grezzi

L(O)Di dati isolati hanno poco valore

nella cloud L(O)D possono essere incrociati nuovi servizi

Riuso: creazione valore aggiuntoparteciapazione attivalinked open data

open data benefit interoperabilità

• per i Cittadini e Imprese opportunità - conoscenza - business

• per le Organizzazioni pubbliche distribuire il proprio valore e conoscenze

open data

reti di misura

• mareografico• qualità acqua• onde anomale• altre reti di misura

lunedì 5 maggio 14

by sciamlab e insideout10for open data

mareografico

Tutte le stazioni sono dotate di un sistema locale di gestione e memorizzazione dei dati e di un apparato di trasmissione (UMTS) in tempo reale alla sede centrale del SMN a Roma. Inoltre in 9 stazioni strategiche per la misura di fenomeni particolari (onde anomale) è presente un secondo sistema di trasmissione dati via satellite con tecnologia IRIDIUM che garantisce il collegamento anche in presenza di situazioni di black-out del sistema UMTS.Da quando la nuova Rete Mareografica Nazionale è pienamente operativa, il SMN mette a disposizione degli utenti informazioni aggiornate relative a serie storiche, osservazioni in tempo reale, previsione dei dati di marea astronomica, analisi dei dati a fini progettuali e scientifici.I dati mareografici e le costanti di marea locali aggiornate sono disponibili, il SMN ha inoltre provveduto ad effettuare un’operazione di recupero e riorganizzazione dei dati storici della rete preesistente, in forma digitale, in modo da poter affiancare alle osservazioni storiche quelle rilevate dalla nuova rete nazionale. La Rete Mareografica Nazionale utilizza esclusivamente stazioni di monitoraggio alimentate da energia prodotta con pannelli fotovoltaici.

sir

SMN

Compito del SMN è quello di provvedere al r i l i e v o e d a l l a e laborazione del le grandezze relative al clima marittimo, allo stato dei litorali ed ai livelli marini, pubblicare gli elementi osservati ed elaborati, predisporre criteri, metodi e standard di raccolta, analisi e consultazione dei dati raccoltigestire la rete ondametrica nazionaleIl SMN fornisce dati, pareri e consulenze a chiunque ne faccia richiesta e supporta gli enti locali e gli altri ent i pubb l i c i e d i diritto pubblico

•CONFRONTO TRA STAZIONI

•PREVISIONI MAREA•ARCHIVIO DATI

RETI DI MISURA STAZIONISENSORI

MAREOGRAFICO

QUALITA’ ACQUA

ONDE ANOMALE

36

ASTA IDROMETRICA

IDROMETRO A GALLEGGIANTE

MAREOGRAFO A ULTRASUONI

SCENARIO

SENSORE BAROMETRICO

SONDA MULTIPARAMETRICA

DIREZIONE VENTO

LIVELLO PIEZOMETRICO

LIVELLO RADAR

TEMPERATURA ACQUA

TEMPERATURA ARIA E RH %

VELOCITA’ VENTO

lunedì 5 maggio 14

by sciamlab e insideout10for open data

mareografico

• piattafforma informatica in uso• sistemi di acquisizione e

trasmissione dati dai sensori• sistemi di parametrizzazione e

salvataggio dati• qualità dataset esistenti e

definizione attività e tecnologie per la trasformazione in open data 3 stelle e successivamente in LOD

• quantità dataset e loro relazioni• thesauri e ontologie base di

settore (ambiente) e della organizzazione pubblica (Eurovoc)

• possibili relazioni gerarchiche e associative tra i termini e studio modellazione ontologie

• predisposizioni e ambiti di riuso• competitors e potenziali sviluppi

della piattaforma e service API

analisi

open data for

individuazione necessità e definizione contratto di licenze - riuso dei dati

• IODL - Italian Open Data License http://www.dati.gov.it/iodl/2.0/

• Creative Commons by• internet CCO• autocertificazione Open

Data Istitute https://certificates.theodi.org/

• .. others

licenze

• tecnico• piattaforma open data

• CKAN + Tools (API)• Redlink API’s• trasformazione

dataset• industrializzazione

metadati associati• thesauri - ontologie

• comunicazione• disegno interfacce per

categoria utenza• individuazione canali di

disseminazione

• sviluppo• progetto della cloud:

rilievo dei dati marini• individuazione e

colegamento reti terze• predisposizione

sviluppo API (imprese)• inserimento nella cloud

L(O)D• collegamento con altri

dataset: “Ambiente”, “mare, costa, difesa del suolo”, “mare, inquinamento ”.

progetto

lunedì 5 maggio 14

Disseminate ExploitIntegrateAsses

on my open data

Nella prima fase vengono valutati i potenziali dataset secondo diversi parametri: la disponibilità dei dati; la frequenza di aggiornamento; la loro ‘pulizia’. I dati vengono valutati anche contro i casi di uso comune. Al termine di questa fase gli use cases, i dataset e le attività di integrazione sono chiaramente definite.

Nella fase di integrazione i dati vengono arricchiti per raggiungere la qualità a 5stelle, e renderli conformi al sistema di valutazione della cloud LOD. I dati vengono poi trasformati in un dataset di dati collegati per mezzo di procedure personalizzate, ripetute periodicamente al fine di mantenere sincronizzati i dataset con le risorse originali. Durante il processo di arricchimento, i dati possono essere ulteriormente integrati con i dati provenienti dal LOD creando connessioni significative e aumentando esponenzialmente il valore di dati. Al termine di questa fase una serie di ‘set di dati’ viene pubblicato e collegato con gli standard Open Data.

Nella fase di valorizzazione i dati pubblicati sono utilizzati per soddisfare i casi d'uso originali, il riuso dei dataset con il flusso di lavoro editoriale, tagging dei contenuti, migliorando la SEO col significativo supporto di schema.org e fornendo campioni di mashup per i widget interattivi. Il risultato di questa fase è lo sfruttamento della cloud LOD nel flusso di lavoro esistente.

Durante la fase di disseminazione dei risultati il progetto sarà promosso al fine di aumentare la propria visibilità, coinvolgere la comunità nel suo sfruttamento e raccogliere prezioso feedback.

cloud LOD

by sciamlab e insideout10for open data

lunedì 5 maggio 14

architettura by sciamlab e insideout10for open data

input

output

CK

AN

RED

LINK

IIIIIIIIII

IIIIIIIIIIIIIIIIIIIIIIIIIIIII

open

sour

ce c

atalo

g framew

ork semantico

Content analisys

Linked data Publishing

Sparql end point

layer di pubblicazione catalogo - API commerce

IIIIII

reti ISPRA altre reti

layer di elaborazione e confronto parametri

interfacciaEnti

interfacciacittadini interfaccia

operatori

connettori

open data repository

open data service

ricerca

dati

portale

sens

ori

cmsrepository metadati

motore di ricercaindice metadati

data storeAPI - Sparql

Semantic search

API-service--alert-

harvesting metadata - ontology

lunedì 5 maggio 14

for Mareografico

Siamo due aziende, Sciamlab e Insideout10, specializzate in tecnologie open e framework semantici che hanno già molta esperienza: nella creazione di open data; nella trasformazione di dataset open in L(O)D; nei progetti di riuso dei dati realizzando connessioni tra reti ed API. La metodologia sviluppata nell’ambito delle tecnologie open data è arrivata ad un livello di maturazione tale da permetterci di affrontare e risolvere qualsiasi complessità derivata dai sistemi legacy; mentre preferiamo ancora adattare professionalmente le tecnologie semantiche modellando linguaggi e ontologie. Le applicazioni realizzate in quest’ambito sono quelle su cui si basa ad esempio, il portale nazionale http://www.dati.gov.it: per la creazione, gestione e pubblicazione di archivi di dataset open; e il framework di tecnologie semantiche www.redlink.co per l’arricchimento dei contenuti e la trasformazione in L(O)D.

chi siamo - cosa

by sciamlab e insideout10for open data

lunedì 5 maggio 14

by sciamlab e insideout10for open data

come con chi .. for mareografico

74 65 982 3STEP STEP

SAPIENZA INNOVAZIONE‘n

3

2

1

ACQUISIZIONE STATO DELL’ARTE:dalla trasmissione in frequenza alle reti

digitali al dataset open LOD

• sensori: tecnologie in uso per la rilevazione dei dati e loro trasmissione

• semantica: domini informativi e ontologie modellazione su: ambiente, mare, alert\sicurezza

• ambiti d’uso e progetto esecutivo piattaforma

PIAT

TAFO

RM

A T

ECN

OLO

GIC

AC

ATA

LOG

O D

ATA

SET

SEN

SOR

I

PIAT

TAFO

RM

A T

ECN

OLO

GIC

ASE

MA

NT

ICA

DAT

ASE

Tsciamlab srl

6 9

PIAT

TAFO

RM

A I

NT

ERFA

CC

ET

EST

PIAT

TAFO

RM

A A

PIsi

cure

zza

ALE

RTse

rvic

e ‘M

AR

EOG

RA

FIC

O’

insideout10 srl3 96

RETE SAILORNET

DES

IGN

NEW

MA

RK

ETM

AN

UT

ENZ

ION

E EV

OLU

TIV

A

RETE MAREOGRAFICO

ALTRE RETI MONITORAGGIO

AMBIENTALE

9

lunedì 5 maggio 14

GRAZIE

i n s i d e o u t 1 0

mausa out

lunedì 5 maggio 14