View
907
Download
1
Category
Preview:
DESCRIPTION
Slide della lezione tenuta a Bari il 17 novembre 2013 nell'ambito del Laboratorio dal Basso "Open Data in Action"
Citation preview
Strumenti Google per gli Open Data Best practice dall'esperienza di Palermo
Bari, 17 novembre 2013
Francesco Passantinofpassantino@gmail.comabout.me/fpassantino
2
about.me/fpassantinoDal 1990 Ricercatore, Consulente e Formatore nelle Tecnologie dell’Informazione e della Comunicazione. Ho fondato e lavorato per diverse Startup. Valutatore di imprese per banche ed altri enti.
Ho fondato il Google Developer Group di Palermo e co-fondato il progetto Sementor. Sono Ambassador del progetto Working Capital di Telecom Italia e della Maker Faire Rome.
Svolgo attività di Digital Strategist, con specializzazione in servizi Social Local Mobile.
Sto organizzando la Palermo Startup Weekend.
3
Programma
• Google/Open Refinehttps://code.google.com/p/google-refine/
• Google Fusion Tablehttps://chrome.google.com/webstore/detail/fusion-tables-experimenta/pfoeakahkgllhkommkfeehmkfcloagkl/related?hl=it
• Google Public Data Explorerhttp://www.google.com/publicdata/directory
• Open Data a Palermohttp://www.comune.palermo.it/opendata.php
4
GOOGLE/OPEN REFINEStrumenti Google per gli Open Data
5
Introduction to OpenRefine
• http://openrefine.org/ – Download, Installazione, Documentazione
– Explore Datahttp://www.youtube.com/watch?v=B70J_H_zAWM
– Clean and Transform Transform Datahttp://www.youtube.com/watch?v=cO8NVCs_Ba0
– Reconcile / Matchhttp://www.youtube.com/watch?v=5tsyz3ibYzk
6
Esercizi su Open Refine
• Geocodinghttps://github.com/OpenRefine/OpenRefine/wiki/Geocoding
• Fetching URLs From Web Serviceshttps://github.com/OpenRefine/OpenRefine/wiki/Fetching-URLs-From-Web-Services
7
TOOLSStrumenti Google per gli Open Data
8
Table Capture
https://chrome.google.com/webstore/detail/table-capture/iebpjdmgckacbodjpijphcplhebcmeop
9
Funzioni utili in Google SpreadsheetFunzione DescrizioneDETECTLANGUAGE Identifica la lingua in cui è scritto il testo all'interno
di un intervallo specificoGOOGLETRANSLATE Traduce il testo nell'intervallo specificato dalla lingua
di origine a quella di destinazione.IMAGE Inserisce un'immagine all'interno di una cellaIMPORTDATA La funzione ImportData recupera informazioni da un
file CSV o TSV.IMPORTFEED Recupera le informazioni da un feed di dati.IMPORTHTML La funzione ImportHTML consente di importare i
dati in una tabella o elenco particolare da una pagina HTML
IMPORTXML Recupera le informazioni da un file XML.
https://support.google.com/drive/table/25273?hl=it
10
Google Sitemap> Excel+SeoTools
• Protocollo: www.sitemaps.org • Robots.txt
Sitemap: http://example.com/sitemap_location.xml
• XML>EXCEL+SeoToolshttp://nielsbosma.se/projects/seotools/Social:like, G+ count, Twitter count
11
GOOGLE FUSION TABLEStrumenti Google per gli Open Data
12
Create with Fusion Tables• Installazione estensione
https://drive.google.com/#query?view=2&filter=tables
• Esempihttps://support.google.com/fusiontables/answer/184641 – Mappa
https://support.google.com/fusiontables/answer/2527132?hl=en&topic=2573107&ctx=topic
– Graficihttps://support.google.com/fusiontables/answer/2562121?hl=en&topic=2573107&ctx=topic
– Condivisionehttps://support.google.com/fusiontables/answer/2562055?hl=en&topic=2573107&ctx=topic
– Mappa ad intensitàhttps://support.google.com/fusiontables/answer/1032332
13
Esempio: OSM>Qgis>Fusion Table
14
Esempio uffici comunali
15
GOOGLE PUBLIC DATA EXPLORERStrumenti Google per gli Open Data
16
Public Data
• Directoryhttp://www.google.com/publicdata/directory
• Upload Datasethttp://www.google.com/publicdata/admin
• DSPLhttps://developers.google.com/public-data/?hl=it&csw=1
17
Riferimenti, Tool, Esempi• Freebase: http://www.freebase.com/• Shape escape: http://www.shpescape.com/ • Opendatakit: http://opendatakit.org/• Cleaning Data with Refine
http://geojournalism.oeco.org.br/2013/07/cleaning-data-with-refine/• School of data
http://schoolofdata.org/handbook/ http://schoolofdata.org/online-resources/
• Data Journalism Handbookhttp://datajournalismhandbook.org/1.0/en/index.html
• Caso d’usohttp://www.msanti.net/2013/09/29/il-bilancio-2013-del-comune-di-imola-visualizzato/
• Altri spunti: http://social-dynamics.org/twitter-network-data/
18
OPEN DATA A PALERMOBest practice dall'esperienza di Palermo
19
Linee Guida per le attività sugli Open Data della Città di Palermo
A cura di:• Marco Alfano• Andrea Borruso• Giulio Di Chiara• Gerlando Gibilaro• Francesco Passantino• Ciro Spataro• Davide Taibi
20
Indice• INTRODUZIONE E PRINCIPI
– Funzione delle Linee Guida, Governo Aperto e dati aperti come strumenti di trasparenza, Open Data, Normativa di riferimento: Normativa Italiana, Normativa Europea, Normativa Internazionale cui aderisce lo Stato Italiano
• ORGANIZZAZIONE DEL COMUNE PER LE ATTIVITÀ SUGLI OPEN DATA– Strutturazione interna, Modello Operativo, Formazione, Partecipazione sociale nel processo degli Open Data
comunali, Attività di monitoraggio e ruolo degli indicatori
• PROCESSO DI PUBBLICAZIONE DEGLI OPEN DATA– Metodologia per la pubblicazione dei dati in formato open, Modalità di produzione dei dataset e formato di
pubblicazione, I Metadati, Licenza per il riutilizzo, Frequenza di aggiornamento, Modalità di pubblicazione dei dataset sul sito web, Comunicazione e promozione dei dataset pubblicati
• RIUTILIZZO DEGLI OPEN DATA– Modalità di riutilizzo dei dati pubblicati e richiesta di pubblicazione di nuovi dati, Commenti, suggerimenti e
segnalazioni sui dataset pubblicati, Utilizzo da parte del Comune di applicazioni e interfacce sviluppate da terzi
• OBIETTIVI, AZIONI E TEMPI• APPENDICE A: DEFINIZIONI• APPENDICE B: CATALOGAZIONE DEI SET DI DATI CON IL METODO DELLE STELLE• APPENDICE C: SCHEDA CATALOGAZIONE DATASET ED ESEMPI• APPENDICE D: ESEMPI DI DATASET DI LARGO INTERESSE• RIFERIMENTI BIBLIOGRAFICI
21
Metodologia per la pubblicazione dei dati in formato open
1. individuazione e selezione dei dataset2. bonifica3. arricchimento tramite metadati4. validazione e pubblicazione (dati a 3 stelle)5. analisi e modellazione6. linking con dataset esterni7. validazione e pubblicazione (dati a 4 e 5
stelle)
22
Metadati 1/2• Titolo *: Nome del dataset comprensibile da un utente generico. E’ il nome che
viene mostrato all’utente quando consulta il dataset (es. “Elenco dei siti turistici visitabili”)
• Referente*: E’ il responsabile del dataset, cioé il “titolare della banca dati” come definito sopra (nel paragrafo sulla strutturazione interna)
• Assessorato titolare *: Assessorato Titolare (es. Ass. BB.CC)• Contatto *: email contatto• Autore: Nome dell’autore• email autore: email autore• Descrizione *: Descrizione testuale del contenuto informativo del dataset• Categorie *: Categoria o categorie alle quali il dataset appartiene**• Tag/Parole chiave *: Lista di termini associati al dataset che lo descrivono, e
rendono possibile la sua classificazione e la sua ricerca• Documentazione tecnica: Indirizzo o indirizzi delle pagine web che contengono
informazioni utili alla comprensione del contenuto del dataset
23
Metadati 2/2• Copertura Geografica: Territorio amministrativo di riferimento (es. “Palermo”, “II
Circoscrizione”)**• Copertura Temporale (Data di inizio) *: Data di inizio validità• Copertura Temporale (Data di fine) *: Data di fine validità• Aggiornamento *: Frequenza di aggiornamento (es. “mensile”, “annuale”,
“giornaliera”)**• Data di pubblicazione *: Data in cui il dataset è reso disponibile on-line• Data di aggiornamento *: Data di ultima modifica del dataset• Licenza *: Tipo di licenza applicata (vedi capitolo relativo)**• Formato *: Formato di pubblicazione (standard) del dataset**• Codifica Caratteri: Codifica dei caratteri utilizzata (es. “latin-1”, “PC-850”)**• Dimensione: Dimensione in byte (o multipli di byte) del dataset• URI permanente: Identificatore univoco del dataset• Dataset richiesto da un cittadino: Booleano si/no• Altro: Ogni altra informazione utile per dataset
24
Dataset di largo interesse• Priorità alta:
– siti turistici– i dati raccolti nel geoblog– news– piani di lavoro aziende partecipate– stradario– scuole
• Analisi necessarie:– le fermate degli autobus della città (non è necessario che sia un file cartografico, anche una
tabella con nome e codice fermata, indirizzo, ecc)– le tabelle correlate che consentono di incrociare linee con fermate– le linee degli autobus in formato cartografico– l'anagrafe sulle farmacie– i dati sulle opere pubbliche che impattano su strada (quindi cantierizzate)– elenco dei beni comunali.
25
Riferimenti Bibliografici• Agenzia per l’Italia Digitale - Linee Guida Nazionali per la Valorizzazione del Patrimonio
Informativo Pubblico (Secondo Semestre 2013)• Comune di Milano - Linee di indirizzo per la realizzazione del progetto Open Data• Formez PA - Linee guida per i siti web delle PA, Vademecum Open Data• Regione Emilia-Romagna - LINEE GUIDA RELATIVE AL RIUTILIZZO E MESSA A
DISPOSIZIONE IN Open Data DEI DATI PUBBLICI DELL'AMMINISTRAZIONE REGIONALE• Regione Lombardia - CRITERI GENERALI per l’Open Data• Regione Piemonte - Linee Guida relative al riutilizzo e alla diffusione tramite la rete
internet dei documenti e dei dati pubblici dell'Amministrazione regionale• Provincia Autonoma di Trento - Linee guida per il riutilizzo e la diffusione dei dati
pubblici• DigitPA - Linee Guida per l’interoperabilità semantica attraverso i Linked Open Data• Boris Villazón-Terrazas, Luis. M. Vilches-Blázquez, Oscar Corcho, and Asunción Gómez-
Pérez Methodological Guidelines for Publishing Government Linked Data. Linking Government Data. D. Wood (Ed.) Part 1, pp.: 27- 49. Springer, New York. 2011. ISBN: 978-1-4614-1767-5.
Recommended