Firenze, gli open data, LO sviluppo e l’ esercizio del portale di OpenGeoData

Emanuele GeriComune di Firenze

La cultura del dato, il SIT, BDPI

Idea di riorganizzazione e BONIFICA dei dati (RIAPPROPRIARSI DEI DATI)

Censimento 2005 delle banche dati comunali (oltre 200 basi dati)

Bando di gara europea: lavori avviati Ottobre 2005

-> Banche dati trattate 105, sincronizzate 55 (anagrafe, tributi, servizi scolastici, patrimonio immobiliare, catasto, toponomastica, pratiche edilizie, suap, agenzia entrate, tia)

-> Bonifica-> Business Intelligence e DSS

-> Lotta Evasione Fiscale e controlli incrociati

-> Catalogazione e esposizione per modello OPEN DATA

Dal 1988 SIT

Una lunga evoluzione che ha portato a utilizzare il GIS per progetti importanti, quali:-> Strumenti urbanistici (PRG, PS, RU)-> Mobilità (ciclabilità, semaforica, versi di percorrenza)-> Ufficio ecografico (toponomastica, numerazione civica, catasto, aci)-> Verde pubblico-> Protezione civile-> Sicurezza stradale-> Attività economiche

DAI DATI GEOGRAFICI AI SERVIZI GEOGRAFICI

Evoluzione del sit: dai dati ai servizi(file system con copia dei dati in locale, dati su database spaziali, servizi)Stessa evoluzione per le applicazioni…STANDARD OGC: introdotto con arc gis server 2006-> Poi map server 2009-> Poi GEOSERVER 2011

BDPI+SIT=RISORSA DATI

Il progetto del Geoportale nasce in prima ipotesi come sistema di disseminazione dei dati geografici all’interno dell’enteL’iniziativa open data del comune di firenze ha proliferato nell’humus di questi progetti

OPEN DATA: Correva l’anno 2012…

-> Un dataset al giorno-> Coinvolgimento della community-> Open bilancio-> Sperimentazioni Linked Open Data-> Rapporti con altri Enti (BCNF, AdB Arno, Publiacqua)-> Open Data per Tutti

E siamo ad oggi...Nel 2013 oltre 100 dataset aperti

OPEN ELEZIONI

Open data del consiglio comunale

Mondiali di ciclismo su open data

AUTOMATISMI per aggiornare dati e metadati

OPEN DATA SI CONSOLIDA come CANALE DI COMUNICAZIONE DELL’ENTE

COSA C’E DIETRO ?

STACK TECNOLOGICO

(VMWARE 5, LINUX CENT-OS…) OPENCMSApachetomcat

PENTAHO KETTLEGEOSERVER

GEONETWORKMAP STORE

ARC GIS SERVEROPEN LAYER

ORACLEPOSTGIS

http://opendata.comune.fi.it

GEOPORTALE http://datigis.comune.fi.it/MapStore

(descrizioni dei dataset geografici attraverso il catalogo dei metadati)

GEOPORTALE:http://datigis.comune.fi.it/MapStore

(mappa interattiva, navigabile e possibile richiesta info sui singoli elementi componenti il dataset geografico)

GEOPORTALE: L’Infrastruttura

GEOSERVER

GeoServer: server software OPEN SOURCE scritto in Java

Implementa servizi OGC tra cui Web Map Service, Web Feature Service, WFS-transazionale,

Tecnologia Java J2EE, lavora con MIDDLEWARE Tomcat, WebLogic, WebSphere, JBossMolteplici formati di output (GML, shapefile, KML, GeoJSON, PNG, JPEG, TIFF, SVG, PDF, GeoRSS)

API REST per il controllo programmatico

GeoServer INTERAGISCE una varietà di software client e server, tra cui:-> Client: OpenLayers , uDig , gvSIG QGIS , WorldWind, ArcGIS , Google

Earth , Virtual Earth -> Database : ArcSDE , Oracle Locator / spaziale , SQL Server 2008 , DB2,

POSTGIS

GEONETWORK

Software open source parte di Open SourcEGeospatial Foundation software stack (OSGeo ) http://www.osgeo.org

-> registry (servizi di catalogazione e ricerca secondo specifiche OGC CSW, ISO 19115 ISO 19119 e ISO 19139 )

-> repository -> portale di ricerca-> CSW

GEOWEBCACHE

Componente per servizi di tile caching:-> intercettare le richieste-> caching (in pratica alleviare il carico sopportato dal server WMS)

-> VARIE INTERFACCE: es. WMTS, TMS, kml

DISSEMINAZIONE DI SERVIZI GEOGRAFICI

Geonetwork: catalogo delle fonti informative -> METADATAZIONE

Geonetwork+map store(+ GEOWEBCACHE) -> performance, tuning________ = geoportale

GEONETWORK dispensa informazioni tramite SERVIZI CSW

http://datigis.comune.fi.it/geonetwork/srv/en/csw

-> FEDERAZIONE – HARVESTING (ANCHE CKAN)-> PLUGIN (es. QGIS Desktop, ArcMap, …)

GeoPortale, Search & Visualize

MapStoreGeoNetwork

• Ricerca!• Catalogo con funzionalità di

ricerca tramite portale• Servizio OGC CSW • Download diretto dataset

• Visualizzazione!• Visualizzazione di dataset comunali

su cartografia di uso comune:• Google• OpenStreetMap• Bing

• Link a servizi OGC WMS e WFS Esterni

• Link a servizi OGC CSW Esterni

Search then Visualize!

Visualize and Search!

GeoPortale, dietro le quinte..

GeoWebCacheGeoServer Cluster

• Prende geotiff, oracle spatial, postgis, shapefile e restituisce mappe e dati vettoriali

• Data in Information Out• OGC WMS Service• OGC WFS Service

• Tile oriented caching front-end• Prende richieste WMS e produce

tiles (High Performance)• OGC WMTS, WMS-C e TMS

services• Tremendo speed-up delle richieste

di mappe!

Vector Data, Maps

WMSPer Web Map Service (WMS) protocollo OGC che produce dinamicamente mappe di dati spazialmente riferiti a partire da informazioni geografiche. Questo standard internazionale definisce una "mappa" come rappresentazione di informazioni geografiche restituendo un'immagine digitale idonea ad essere visualizzata su browser web.Generalmente le mappe prodotte da un servizio WMS sono rese in un formato immagine quale PNG, GIF o JPEG; contrariamente a un Web Feature Service (WFS), che restituisce dati vettoriali, o a un Web Coverage Service (WCS), che restituisce dati raster.Lo standard definisce tre operazioni:

restituisce metadati a livello di servizio;restituisce una mappa dai parametri geografici e dimensionali

definiti;restituisce informazioni sugli oggetti della cartografia

visualizzata (GET FEATURE INFO).Le operazioni del Web Map Service vengono invocate usando un client che supporti il protocollo HTTP, in forma di Uniform Resource Locators (URL).

WFSLe specifiche WFS definiscono le interfacce per descrivere le operazioni di manipolazioni di dati per oggetti geografici

WFS transazionale (WFS-T) permette anche la creazione, la cancellazione e la modifica/aggiornamento degli oggetti.

descrive operazioni di ricerca e di trasformazione del dato. La richiesta viene generata dal client e inviata al server WFS via HTTP. Il server esegue la richiesta. Le specifiche WFS usano HTTP come una piattaforma computazionale molto diffusa, ma questo non è un requisito obbligatorio

INSPIRE è una Direttiva (2007/2/CE) del Parlamento europeo e del Consiglio, che ha l’obiettivo di realizzare un’infrastruttura europea di dati spaziali; INSPIRE è l’acronimo di Infrastructure for Spatial Information in Europe.

La direttiva stabilisce le norme generali per istituire l'infrastruttura per l'informazione territoriale nella Comunità europea, denominata INSPIRE (Infrastructure for Spatial Information in Europe).

NELLA PRATICA:Identificazione: Fornisce il titolo e una breve descrizione della risorsa.Classificazione dei dati: Specifica la categoria tematica in cui la risorsa è collocata.Parola chiave: È specificata almeno una parola chiave del tesauro generale multilingue dell’ambiente (General Environmental Multi-lingual Thesaurus - GEMET)Localizzazione geografica: deve essere espressa da un riquadro di delimitazione geografica, che fornisce longitudine ovest ed est e latitudine sud e nord.Riferimento temporale: Fornisce delle informazioni sulla dimensione temporale dei dati.Vincoli relativi all’accesso e all’uso; Un vincolo relativo all’accesso o all’uso è costituito da uno degli elementi o da entrambi:

- Un insieme di condizioni applicabili all’accesso e all’uso.- Un insieme di limitazioni all’accesso pubblico.

OrganizzazIoni responsabili: Deve essere specificato il responsabile della risorsa e il suo ruolo.Devono essere fornite l’organizzazione responsabile per la creazione e la manutenzione dei metadati e la data di creazione e aggiornamento.

METADATI

METADATI

INSPIRE E RNDT

WMS/WFS: GeoServer compliant CON INSPIRE

GeoNetwork compliant CON INSPIRE & RNDT DA GIUGNO 2013 (EVENTO INSPIRE A Firenze):

INSPIRE compliance 100%-> OK PER RNDT

-> Dati statici (biblioteche, musei, ecc.)-> Dati variabili (semafori, stalli di sosta, rastrelliere bici)-> Dati dinamici (eventi nei luoghi)-> Dati in tempo reale (posti nei parcheggi, sensori, varchi pedonali nei mondiali di ciclismo)

I DATI

I DATI

STATICO vs. DINAMICO ha una forte implicazione sulla gestione del dataset (aggiornamento, redattore, performance, api o dataset)

QUALITA': DATA FIREWALL ? LAVORIAMO ALLA SORGENTE

(BONIFICA)

IL DATO GEOGRAFICO A SISTEMA :

IL DATO geografico DAL CONSUETO ITER DI GESTIONE DELL’ufficio (ORDINARIA AMMINISTRAZIONE) DIVENTA servizio utilizzabile da tutti...

-> I dati ESPOSTI COME OPEN DATA SONO WM(T)S, kmz, shapefile

(livello di refresh della cache personalizzabile per ogni fonte dati)-> Grande ottimizzazione del sistema

COME SI PRESENTA UN DATASET

Utilità dei dataset: a chi INTERESSANO ?

UN PERCORSO SU PISTA CICLABILE ANALLERGICOVADO AL FONTANELLO E MENTRE FACCIO LA FILA RICARICO

L’AUTO ELETTRICAUTILIZZO OPEN DATA PER LA CAMPAGNA ELETTORALE

POSTI LIBERI NEI ParcheggiAGENZIA IMMOBILIARE 2.0

… serendipity (fare scoperte piacevoli per puro caso)

VS

Open Data COME servizio pubblico: COSA INTERESSA Alla

GENTE ?

TRASPARENZA?“Consumo” di suolo ?

Opere d'arte ?

A volte non è facile prevederlo…Proviamo a chiederlo ?

… CROWD…

Dataset di successo

Luoghi freschi a Firenze

OPEN ELEZIONI

CIVICI SU OPENSTREETMAP

I MONDIALI DI CICLISMO

Sviluppo applicazione web basata su serviziChiunque avrebbe potuto

svilupparla grazie all’apertura del canale open data mondiali di ciclismo

Molti accessi al portale dei mondiali di ciclismo (oltre 120.000), molti accessi a dati e servizi

• Mi manda qualcosa il tipo che lavora dal tani

vivere il parco / ambiente

“ambienti” del parco:

vivere il parco / sport

vivere il parco / cultura

vivere il parco / sistemi a rete

open geo-data sets: • Alberi• Aree verdi (sub-aree verdi, aree cani, aree

giochi)• Aree pedonali• Aree sportive• Aree stradali• Percorsi ciclabili• Stazioni ferroviarie• Tram fermate• Tram tracciato• WiFi• DTM

FUTURE INTERNET:ENVIROFI APP on Florence Open DataFuture Internet requirements from the Environmental Usage Area perspective and provides technical specifications and prototypes of interoperable geospatial Environmental Enablers.

Perché gli Open Data sono un servizio pubblico

Permettono di esplorare e di usare meglio la città

Posso usarli per decidere dove aprire un negozio, o dove comprare casa

Domande sulla città arrivano sul “canale” open data

Analisi ambientali, flussi turistici in città

FIRENZE WI-FI

CERCO CASA A FIRENZE

EVOLUZIONE DI SCENARI: CERCO UNA CASA in una zona silenziosa della città

GEOMARKETING DEL CITTADINO: APRO UN NEGOZIO A FIRENZE

VOGLIO QUESTO DATO OPEN E IN TEMPO REALE (O QUASI…)

QUALCOSA DI NUOVO…

Firenze digitale:La metafora delle digital location

(nel semantic web)

Con

ten

uti i

stit

uzio

na

li

Ope

nD

at

a

Coll

ega

men

ti q

uali

fic

at

i all

’est

ern

o

Con

ten

uti u

ser

-g

ener

at

ed?

Repository nel semantic web per canali digitali

Work in Progress: contenuti digitali turistici come

Linked/GEOLINKED Open Data

Redazione contenuti digitali

Editing metadatiAggregazione contenuti

de-strutturatisu Digital Locations

Canali digitali cittadini

Web

Digital Signage

AppWiFi captive portals

Open/Linked Data/GeoLinked

App based on Digital Locations contents

ostacoli

Un sito di API governative chiuso…

Blocca utilizzatori, e imprese che ci facevano business, potenzialmente in tutto il mondo!

Durante lo shutdown (Ottobre 2013), molti consumatori di dati della PA sono vissuti grazie a “datastore di replica”: altro nuovo lavoro!?

Le mode nella PA...

Google Trends in Italia da Gen 2004 a Gen 2014

Un dato dinamico potrebbe non essere aggiornato…

DIETRO LE QUINTE AUTOMATIZZARE...

Si sfrutta il dato a sistema per aggiornare un dataset

-> si pubblica un dato “fresco”-> si “motiva” il backoffice a tenerlo aggiornato-> si diminuisce il lavoro del redattore e l’intervento umano

AGGIORNARE I DATI pubblicati

Integrazione geonetwork - opencms

-> Recupero dei metadati (INSPIRE)

-> Anteprima su mappa “AL VOLO”

-> Meno lavoro per il redattore

GOALAssicurare una partecipazione realmente efficace perché fondata su un patrimonio di conoscenze comune, senza “asimmetrie informative”

G8 OPEN DATA CHARTER: piano d’azione

-> Seguire linee guida nazionali e internazionali

Rendere gli Open Data «”strutturali”

Uscire dalla logica del trend del momento (oblio dopo qualche anno dal picco di notorietà)

Molti enti ne chiedono il riuso: non sono un prodotto ma un processo

Devono diventare un processo di innovazione strutturato nella PA e fra le PA, così come i servizi su web e su mobile

Grazie a tutti dell’attenzione…

Creative CommonsThis work (photos excluded) is licensed with Creative Commons - Attribution – Share Alike - 3.0 Italia

Emanuele GeriDirezione Sistemi Informativi

Comune di Firenzeemanuele.geri@comune.fi.it

Credits sulle foto utilizzate nelle slides

L’autore del presente documento non intende richiedere alcun diritto sulle foto utilizzate nelle precedenti slides. E’ possibile recuperare il link al sito da cui si è scaricata l’immagine disponibile pubblicamente attraverso la funzione di reverse search di Google Immagini.