22
Capturando Dados Com Python Turicas aka Álvaro Justen UAI Python! 29 de agosto de 2015, Belo Horizonte/MG

Capturando dados com Python - UAI Python

Embed Size (px)

Citation preview

Page 1: Capturando dados com Python - UAI Python

CapturandoDados Com

PythonTuricas aka Álvaro Justen

UAI Python!29 de agosto de 2015, Belo Horizonte/MG

Page 3: Capturando dados com Python - UAI Python

E Vocês?Python?Crawling/parsing de dados?Análise/visualização de dados?

Page 4: Capturando dados com Python - UAI Python

Valeu, PUG-MG!o/

Page 5: Capturando dados com Python - UAI Python

bit.ly/uaipython-turicas

Page 6: Capturando dados com Python - UAI Python

RoteiroJornalismo de dadosCaptura de dados

LIVE CODINGNormalização de dados

LIVE CODINGDados abertos, Brasil.IO etc.

Page 7: Capturando dados com Python - UAI Python

Funil de Dados1. Captura: encontrar e baixar2. Normalização: colocar em um formato amigável3. Análise: ver o que tem de bom4. Visualização: mostrar para os leigos

Page 8: Capturando dados com Python - UAI Python

Funil de Dados[2]

4. Visualização: cereja do bolo3. Análise: onde ocorrem os insights2. Normalização: pé no saco1. Captura: pé no saco [2]

Page 9: Capturando dados com Python - UAI Python

Captura + Normalização

Page 10: Capturando dados com Python - UAI Python

WARNING:DANGER ZONE

Page 11: Capturando dados com Python - UAI Python

Captura: APIspip install requestspip install tapioca-facebook

Page 12: Capturando dados com Python - UAI Python

Captura: NemTudo São Flores

pip install splinterpip install scrapy

Page 13: Capturando dados com Python - UAI Python
Page 14: Capturando dados com Python - UAI Python

Normalizaçãopip uninstall beaufitulsoup4pip uninstall lxmlpip install rows

Page 15: Capturando dados com Python - UAI Python

rows0.1.0 hoje (especialmente pra vcs <3)Contribuições são bem-vindas!gihub.com/turicas/rows

Page 16: Capturando dados com Python - UAI Python

Dados AbertosDados Públicos

TransparênciaEmpoderamento

dados.gov.br

Page 17: Capturando dados com Python - UAI Python

5 Stars Data5stardata.info

Page 18: Capturando dados com Python - UAI Python

Linked Datalinkeddata.org

Page 19: Capturando dados com Python - UAI Python
Page 20: Capturando dados com Python - UAI Python

Brasil.IOContribuições são bem-vindas!

github.com/turicas/api.brasil.iogroups.google.com/group/brasil-io

twitter.com/brasil_iofacebook.com/api.brasil.io#Brasil.IO @ irc.FreeNode.net

Page 21: Capturando dados com Python - UAI Python

?

Page 22: Capturando dados com Python - UAI Python

Obrigado! (:Turicas aka Álvaro Justen

{ , , ,}/turicas

twitter.com github.com youtube.comslideshare.net

[email protected]

bit.ly/uaipython-turicas