Embed Size (px)
Citation preview
Sonia Montegiove, Alfredo Parisi, Italo Vignoli
Strumenti open source per il giornalismo: come usare gli open data
Open Data, chi?
Open cosa?
“Un contenuto o un dato si definisce aperto se chiunque è libero di usarlo, riusarlo, ridistribuirlo – soggetto, al massimo, al requisito di attribuzione e/o condivisione allo stesso modo”
Open Knowledge Foundation
Open Data a tavola
Foto di Karen Morgan, Flickr
ovvero come rendere appetibiliingredienti che non lo sono
Ingredienti
Per l'impasto:
100 g di Open Data
400 g di altre Fonti di Informazione
1 Kg di Pazienza nella ricerca
LibreOffice e altri sw open source
Per la comprensione e il mash-up:
Passione q.b.Foto di The Hellos, Flickr
Dove trovare ingredienti freschi
Portale www.dati.gov.it
Portali Open Data delle PA
Sezione Trasparenza Siti della PA
Da motore di ricerca con parola magica open data
Data scraping
Foto di Young Sok Yun, Flickr
Se trovo dati .CSV
SEMPLICE!
Aprire il file con
LibreOffice e importare
il testo
E se trovo un .XLS?Un formato chiuso per esporre un dato aperto? Ossimoro?
E se trovo un .pdf?
1. Scarico Tabula
2. Lo installo
3. Apro Tabula.exe
4. Faccio upload del file.pdf
E se trovo un .pdf?
Aspetto che arrivino i dati in forma tabellare.
L'attesa dipende dalla complessità del file.
E se trovo una tabella html?
Questo non è il formato adatto a pubblicare
Il caro vecchio copia-incolla può aiutarci
Fonte: http://www.benisequestraticonfiscati.it/
Un LibreOffice in “cucina”
Foto di Young Sok Yun, Flickr
Decorare con i grafici
0
500000
1000000
1500000
2000000
2500000
3000000
3500000
I 5 farmaci più venduti in Italia nell'ultimo semestre
da così...
...a così
Fonte: http://www.dati.salute.gov.it/
Decorare con i grafici
1. scaricare il dataset e aprirlo in Calc
2. selezionare i dati da rappresentare
3. Inserisci – Grafico
4. Seguire la creazione guidata
5. Rifinire modificando alcuni elementi
Decorare con i grafici (in modo guidato) Da Inserisci-Grafico...
1 2
3 4
Mettere in risalto alcuni dati
Fonte: http://itacan.ispo.toscana.it/italian/itacan.htm
Come fare? Formattazione condizionata
Da:
Formato
Formattazione condizionata
Condizione
Selezionare tra tante informazioni
Partiamo dal dataset
(da notare il solo formato .xls)
Fonte: http://www.dati.piemonte.it/catalogodati/dato/100670-.html
Selezionare tra tante informazioni
Da Dati
Filtro
Filtro standard
Ho così un elenco esatto delle scuole con connessione veloce
Foto di Geoff Llerena, Flickr
Ottenere somme, medie, conteggi per dato
Fonte: http:/dati.lombardia.it/
Ottenere somme, medie, conteggi per dato
Da Dati
Subtotali
Che aria tira?
1 2
3Fonte: http://www.arpa.umbria.it/open-data.aspx
E se i dati sono tanti
Da così...
...a così
La fortuna di avere le tabelle pivot
Da Dati
Tabella Pivot
Crea
Rappresentare Dati
Lista della spesa
Elaborazione dati: LibreOffice
Open Refine (ex Google Refine)
Grafici: Plotly
Datawrapper
Mappe: Mapbox
Open Refine
Software prodotto da Google Finalizzato al data cleaning Interfaccia intuitiva e semplice da usare Open Source, sorgente disponibile in Github
Refine offre una serie di trasformazioni preconfezionate (trasformazioni comuni)
Refine utilizza il linguaggio GREL (Google Refine Expression Language) per trasformazioni avanzate
Supporta diversi formati: TSV, CSV, *SV, JSON, XML, RDF
Open Refine Luoghi di interesse, Città di Firenze (Risorsa in CSV).
Open Refine 1. Importare il file CSV in Open Refine
Open Refine 2. Eliminare colonne duplicate (italiano/inglese)
Open Refine 3. Rinominare intestazione colonne
Open Refine 4. Trasformare celle utilizzando caratteri maiuscoli
Open Refine 5. Unire due colonne ed ottenere l'indirizzo completo
Open Refine 5. Unire due colonne ed ottenere l'indirizzo completo
Open Refine 5. Unire due colonne ed ottenere l'indirizzo completo
6. Esportare il dataset! Formati disponibili TSV, CSV, ODS, XLS.
Da Open Data a Grafici
Grafici veloci in pochi secondi Grafici interattivi
Creazione e modifica dei grafici in modalità collaborativa
Possibilità di condividere i grafici creati (Embed e Social)
Serve solamente un browser web
Collaboriamo!
Da Open Data a GraficiServizi educativi per la prima infanzia, Regione Umbria:si evidenziano i dati anagrafici, numero totale di bambini accolti al 15 dicembre di ogni anno suddivisi per categorie, informazioni sintetiche riguardanti i periodi di apertura, spazi e strutture presenti, meccanismi di graduazione.
Da Open Data a Grafici
Da Open Data a Grafici
Da Open Data a Grafici-Mappe
Grafici veloci in pochi secondi (in 4 passi) Mappe interattive (beta)
Open Source, sorgente disponibile in Github Serve solamente un browser web
Da Open Data a Grafici-Mappe
Da Open Data a Grafici-Mappe
Da Open Data a Mappe Mappe veloci in pochi secondi Personalizzare i punti e le mappe Utilizzare diversi template
Mapbox crea mappe interattive Mapbox crea oggetti embed che si possono importare in blog
Importa diversi formati: CSV, geojson, KML e gpx
Da Open Data a Mappe
Hotspot Wifi in Umbria (Risorsa in geojson):
Da Open Data a MappeHotspot Wifi in Umbria (risorsa in geojson):
Da Open Data a Mappe
Hotspot Wifi in Umbria (risorsa in geojson):
Creative Commons
Le licenze Creative Commons offrono […] diverse articolazioni dei diritti d'autore per […] creatori che desiderino condividere in maniera ampia le proprie opere secondo il modello "alcuni diritti riservati"
I vari moduli vengono combinati (volendo, in risposta a semplici domande), stabilendo:
Quali diritti l’autore voglia riservarsi
Quali diritti l’autore voglia condividere
Creative Commons6 combinazioni possibili:
Attribuzione - Non commerciale - Non opere derivate
Attribuzione - Non commerciale - Condividi allo stesso modo
Attribuzione - Non commerciale
Attribuzione - Non opere derivate
Attribuzione - Condividi allo stesso modo
Attribuzione
Creative Commons
1.0
2.02.5
3.0
4.0
Creative Commons 4.0
Internazionalizzazione: per favorire l'adozione globale delle licenze
Interoperabilità: tra le licenze Creative Commons e le altre licenze
Durata: anticipazione dei problemi legali e di adozione, per favorire la durata delle licenze
Governi e Istituzioni Pubbliche: gestione dei problemi di adozione delle licenze nelle aree dei dati, della scuola e della ricerca
Modelli di Adozione: compatibilità con le versioni precedenti alla 4.0
Considerevole Sforzo ComunicativoCommons Deed
Versione "comprensibile agli umani"
Traduzioni
Adattamento ai sistemi giuridici nazionali
Gestione dei Metadati
Filtro per licenza tramite Google, Yahoo, etc.
Add-on per Office, LibreOffice, Firefox, etc.
Siti web comprensibili e FAQ
http://www.creativecommons.org
http://www.creativecommons.it
Liberi Tutti: CC0
Rinuncia a tutti i diritti d'autore e connessi (inclusi quelli sulle banche di dati) su un'opera
allenta il più possibile i legami giuridici con quell'opera
Waiver of rigths: rinuncia a ogni diritto
in subordine, licenza gratuita e irrevocabile
in subordine, impegno a non esercitare i diritti rimasti in capo al detentore
Standard ?
Standard ?Standard: PDF, HTML, JPG
Non Standard: DOC, XLS, PPT, AI, MDF, SWF, WMF
Adozione degli Standard
1
1970 1980 1990 1995 2000 2005
Standard Proprietari
Standard Nazionali
Standard Globali
Innovazione Chiusa e Aperta
Chiusa verso Aperta
Bill Gates [1]
One thing we have got to change in our strategy - allowing Office documents to be rendered very well by other peoples browsers is one of the most destructive things we could do to the company. We have to stop putting any effort into this and make sure that Office documents very well depends on PROPRIETARY IE capabilities
Dobbiamo cambiare la nostra strategia: consentire che i documenti di Office vengano visualizzati bene da altri software è una delle cose peggiori che possiamo fare. Dobbiamo smetterla di fare sforzi in questa direzione, e assicurarci che i documenti di Office dipendano da funzionalità proprietarie di IE
Bill Gates [2]
3 million computers get sold every year in China, but people don't pay for the software. Someday they will, though. As long as they are going to steal it, we want them to steal ours. They'll get sort of addicted, and then we'll somehow figure out how to collect sometime in the next decade
Ogni anno, in Cina vengono venduti circa 3 milioni di PC, ma nessuno paga il software. Però, un giorno pagheranno. Fino a quando lo rubano, vogliamo che rubino il nostro perché diventino - in un certo senso - dipendenti. A quel punto, faremo in modo di raccogliere qualcosa, anche se sarà nel prossimo decennio
Formato Standard
Sviluppato da un Ente Neutrale
Consenso tra Software Vendor e Utenti Finali
Costruito come Standard Aperto
Nessun Componente Proprietario o Incapsulato
Implementazione Nativa Libera
Verifica del Formato Indipendente dal Vendor
Agnostico verso l'Utente
Apertura/Salvataggio senza Condizioni
Formato ApertoE' indipendente da un unico software (e vendor)
E' interoperabile, perché permette una condivisione trasparente dei dati tra più sistemi eterogenei
E' perenne, perché tutela il patrimonio di informazioninel tempo di fronte all'evoluzione della tecnologia
E' neutrale, perché non costringe l'utente a usare uno specifico software, ma lascia un'ampia scelta
Open ContentClosed Content
Open FormatClosed Format
Documento = ???
Documento = Contenitore
CONTENT.XML
Open Document Formatla scelta che permette di scegliere
ODF alla Base dell'Interoperabilità
SW
Contenuto
Vecchio StileContenuto strettamente legatoall'applicazione che lo genera
Controllo in mano a chi sviluppal'applicazione e non all'utente
SW SW SW
Contenuto
Nuovo StileContenuto rappresentato attraverso uno standard apertoche non viene controllato da un unico vendor, per cui più
applicazioni possono crearlo e modificarlo
Controllo in mano all'utente e non al software vendor
Interoperabilità
Formato Standard
Open Document Format
Componenti Standard e Multipiattaforma
Font Libere e Multipiattaforma
Elementi Grafici: JPEG e TIFF, PNG
Multimedia: MP3 e OGG, MP4 e H.256
Costruzione "Neutrale" del Documento
Nessun Elemento Proprietario
Processo di StandardizzazioneODF
Basato sul formato XML di OOo
12 dic 2002: sottoposto a OASIS
1 mag 2005: rilascio dello standard ODF da parte di OASIS
16 nov 2005: sottoposto a ISO/IEC JTC1 con le regole della Publicly Available Specification (PAS)
3 mag 2006: approvazione dello standard ISO/IEC IS 26300
720 pagine in 1239 giorni
OOXML
Basato sul formato XML di Office 2003
15 dic 2005: sottoposto a ECMA
31 dic 2006: standard ECMA approvato dalla Ecma General Assembly
31 gen 2007: sottoposto a ISO/IEC JTC1 con le regole della FastTrack
31 mar 2008: approvazione dello pseudo-standard ISO/IEC
7200 pagine in 838 giorni
Riuso degli Standard: un ConfrontoODF
Dublin Core
XLS:FO
SVG
MathML
XLink
SMIL
XForms
OOXML
Dublin Core
ODF e OOXML
Falso Standard Aperto
OOXMLMicrosoftOffice 2013
ODFLibreOffice4.3
Problemi con Altri Calendari
OOXML non prende in considerazione gli utenti di religione ebraica e musulmana, che utilizzano un altro calendario
Indipendentemente dalla configurazione locale, la funzione Networkdays() restituisce sempre sabato e domenica come weekend
Errore per Algeria, Bahrain, Bangladesh, Iraq, Israel, Jordan, Libya, Pakistan, Qatar, Sudan, Syria e United Arab Emirates
ODF gestisce il problema correttamente
Font Proprietari e Brevettati
Brevetti ClearType
Font Libere
Formati DisponibiliDocumento di Testo ODF (ODT)
Modello di Documento di Testo ODF (OTT)
Microsoft Word 2007/2010/2013 XML (DOCX)
Microsoft Word 97/2000/XP/2003 (DOC)
Modello di Documento DOC (DOT)
Rich Text Format (RTF)
Testo (TXT)
Testo – Scegli la Codifica (TXT)
Formati per l'Interoperabilità
Documento di Testo ODF (ODT) CONSIGLIATO
Microsoft Word 2007/2010/2013 XML (DOCX)
Microsoft Word 97/2000/XP/2003 (DOC) ACCETTATO
Rich Text Format (RTF) SCONSIGLIATO
Nessuna Interoperabilità
Non Standard: Circa 2000 AC
Falsa Interoperabilità
Non Standard: Circa 2000 DC
Vera Interoperabilità
Standard: Circa 2000 DC
#opendatachevorrei
Nell'open data che vorrei non ci sono formato chiusi né dati precotti
