Upload
sti-uff
View
179
Download
1
Embed Size (px)
DESCRIPTION
Palestra sobre Big Data ministrada pela IBM no dia 13 de novembro de 2013
Citation preview
© 2013 IBM Corporation
Objetivo
� Copa das Confederações– Evento teste para Copa do Mundo– 8 seleções
• 6 campeãs de seus continentes• 1 campeã da copa do mundo anterior• 1 anfitriã• Brasil, Japão, México, Itália, Espanha, Uruguai, Nigéria e Taiti
� Analisar em tempo real os tweets relacionado a seleção Brasileira
� Twitter 2013:– 550 milhões de usuários ativos– 58 milhões de mensagens por dia
� Tweets em Português
© 2013 IBM Corporation
Projeto IBM: Ei!
� Análise de sentimento baseada em algoritmos de Machine Learning
� Ambiente de processamento em tempo real
� Altas taxas de transferência de dados
� Alta Disponibilidade e Escalabilidade
� Implementação em Cloud
© 2013 IBM Corporation
A Plataforma de Big Data IBM
BI / Reportin
g
BI / Relatório
Exploração / Visualização
Aplicações
Operacionais
Aplicações de Indústria
Análise Preditiva
Conteúdo Analítico
Aplicações Analíticas
IBM Big Data Platform
Gerenciamento de Sistemas
Desenvolvimento de Aplicações
Visualização & Descoberta
Aceleradores
Information Integration & Governance
HadoopSystem
Stream Computing
Data Warehouse
1 – Unlock Big Data
2 – Analyze Raw Data
4 – Reduce costs with Hadoop
3 – Simplify your warehouse
5 – Analyze Streaming Data
© 2013 IBM Corporation
InfoSphere Streams
Uma plataforma para análises em tempo real sobre Big Data em movimento
� Volume– Terabytes por segundos– Petabytes por dia
� Variedade– Todos os tipo de dados– Todos os tipos de análises
� Velocidade– Conhecimento em microsegundos
� Agilidade– Dinamicamente responsivo– Rápido desenvolvimento de aplicações
Milhões de eventos por segundo
Latência em microsegundos
Fontes de dadosTradicional / Não-tradicional
Decisões em Tempo Real
AnálisesTradingPrevisível churn de Telco
SmartGrid
Segurança cibernética Governo /
Aplicação da lei
UTI Monitorada
Ambiente Monitorado
© 2013 IBM Corporation
� continuous ingestion� Ingestão e análise de dados continuo
Como funciona o Streams
© 2013 IBM Corporation
Achieve scale:
By partitioning applications into software components
By distributing across stream-connected hardware hosts
Transform
Filter / Sample
Classify
Correlate
Annotate
Como funciona o Streams� Ingestão e análise de dados continuo
© 2013 IBM Corporation
Mercado de Ações
� Impacto do tempo nos
preços das ações
� Análise da dados do
mercado em latências
super baixas
Prevenção de Fraude
� Detecção de múltiplas fraudes
� Prevenção de fraudes em tempo real
e-Science
� Previsão do clima espacial
� Detecção de eventos momentâneos
� Pesquisa atômica de Síncrotron
Transportes
� Gerenciamento
inteligente do Tráfego
Smart Grid & Energia
� Controle afinado
� Unidade de Monitoramento
de Fasor
Sistemas Naturais
� Gerenciamento de incêndios
florestais
� Gerenciamentos climáticos
Outros
� Manufacturing
� Análise de Texto
� Vigilância em tempo real
� Detecção de segurança cibernética
Aplicações da Lei,
Defesa & Segurança Cibernética
Saúde e Ciências da
Vida� Monitoramento de UTI
Neonatal
� Sistema de alerta
preventivo de epidemia
� Monitoramento remoto
de saúde
Telefonia
� Processamento de CDR
� Análise Social
� Prevenção de Churn
� Geomapping
O que as pessoas estão fazendo com Streams
© 2013 IBM Corporation
Real-Time Social Media AnalysisClassification Phase
10
Text Classifier
Real-time
ClassifiedDB
Stream
Computing
LearnedDB
.json(Ogyvly)
Twitterviz
ResearchInternaldevelopment
Words
Filters
Research
Application Applications
Ogyvly
© 2013 IBM Corporation
Real-Time Social Media AnalysisHA and DR Solution
11
Text Classifier
Real-timeStream
Computing
.json(Ogyvly)
Twitterviz
Research Internal development
Words
Filters
Research
Application
Applications
Ogyvly
Cloud 1 – QA - Canada
Cloud 2 – Prod - German
Text Classifier
Real-timeStream
Computing
Research Internal development
Words
Filters
Twitterviz
Research
Application
Twitterviz
© 2013 IBM Corporation
Análise de Sentimentovou ser repetitivo de novo , mas : na minha epoca de jovem torcedor da
seleção brasileira , brasil nao tomava gol de p### de chile não viu
Tokenização ClassificaçãoLematizaçãoEtiquetador
MorfológicoNormalização
vou
ser
repetitivo
de
novo
,
mas
:
na
minha
epoca
de
Jovem
torcedor
da
seleção
brasileira
brasil
nao
tomava
gol
de
p###
de
chile
não
viu
Parte: palavrões
Verbos: vou, ser, tomava
Substantivos: epoca, brasil, gol, chile, seleção
Adjetivos: repetitivo, jovem, brasileira, palavrão
vou: ir
ser: ser
tomava: tomar
p###: palavrão
© 2013 IBM Corporation
Análise de Sentimentovou ser repetitivo de novo , mas : na minha epoca de jovem torcedor da
seleção brasileira , brasil nao tomava gol de p### de chile não viu
16.3%83.6%0.1%POLARIDADE
9.10E-624.68E-617.43E-64PROD
0.07%0.03%0.04%ver
0.03%0.08%0.04%não
0.06%0.03%0.02%chile
0.04%0.09%0.01%palavrão
0.01%0.04%0.08%gol
0.08%0.06%0.04%tomar
0.03%0.08%0.04%não
0.04%0.07%0.05%brasil
0.07%0.03%0.08%brasileira
0.05%0.08%0.09%seleção
0.05%0.04%0.07%torcedor
0.02%0.04%0.09%jovem
0.02%0.01%0.01%epoca
0.08%0.04%0.02%mas
0.03%0.05%0.02%de novo
0.02%0.07%0.01%repetitivo
0.08%0.02%0.02%ser
0.07%0.05%0.01%ir
NeutroNegativoPositivoParte
Do learned database