33
De Business Intelligence a Big Data Abril 9, 2015 UNAM

Presentación semana académica unam big data abril 2015

Embed Size (px)

Citation preview

Page 1: Presentación semana académica unam big data abril 2015

De Business Intelligence a Big Data

Abril 9, 2015UNAM

Page 2: Presentación semana académica unam big data abril 2015

2

Presentation Title | Date

Diferencia entre Business Intelligence y Big Data

Business Intelligence te ayuda a encontrar respuestas a preguntas conocidas, Big Data te

ayuda en encontrar las cuestiones que no sabes preguntar

Page 3: Presentación semana académica unam big data abril 2015

Business Intelligence

Page 4: Presentación semana académica unam big data abril 2015

4

Presentation Title | Date

Historia

En un tiempo, las organizaciones dependían de sus departamentos de sistemas de información para proporcionarles reportes estándar y personalizados. Esto ocurrió en los días de los mainframes y mini computadoras, cuando la mayoría de los usuarios no tenía acceso directo a las computadoras.

Sin embargo, esto comenzó a cambiar en los años 70’s Cuando los sistemas basados en servidores se convirtieron en la moda. Con el paso del tiempo, fueron desarrollados los sistemas de información ejecutiva (EIS, por sus siglas en inglés), los cuales fueron adaptados para apoyar a las necesidades de ejecutivos y administradores

HISTORIA

Page 5: Presentación semana académica unam big data abril 2015

5

Presentation Title | Date

Definición Business Intelligence

Business Intelligence es la habilidad para transformar los datos en información, y la información en conocimiento, de forma que se pueda optimizar el proceso de toma de decisiones en los negocios.

Business Intelligence es el conjunto de metodologías, aplicaciones y tecnologías que permiten reunir, depurar y transformar datos de los sistemas transaccionales en información estructurada, para su explotación directa o para su análisis y conversión en conocimiento, dando así soporte a la toma de decisiones sobre el negocio.

Page 6: Presentación semana académica unam big data abril 2015

6

Presentation Title | Date

Arquitectura de sistemas de información

Arquitectura de los Sistemas de Informacion

• Clientes • Recursos• Planificacion• Control

••NIVEL

DECISIÓN

A LA

NIVELGESTIÓN

ECURSOSMERCAD HUMANOS

NIVELPRODUCCIÓN

CONEXIÓN ADMINISTRAC.

MO

DELO

DE FLU

JOS D

E INFO

RM

AC

IÓN

MO

DELO

DE D

ATO

S

MO

DELO

DE F

UN

CIO

NES

Red de CeProveedor

MERCAD

ntros es

CUADRO DE MANDO

AYUDAS

DECISIÓN

O

CALIDADCONTROL

DE GESTIÓN

R

ESTRUCTURA PRODUCTOS Y SERVICIOS

ADMINIS

INTERIOREXTERIOR

Page 7: Presentación semana académica unam big data abril 2015

7

Presentation Title | Date

Business Intelligence en la Arquitectura

Arquitectura de los Sistemas de Informacion

• Clientes • Recursos• Planificacion• Control

••NIVEL

DECISIÓN

A LA

NIVELGESTIÓN

ECURSOSMERCAD HUMANOS

NIVELPRODUCCIÓN

CONEXIÓN ADMINISTRAC.

MO

DELO

DE FLU

JOS D

E INFO

RM

AC

IÓN

MO

DELO

DE D

ATO

S

MO

DELO

DE F

UN

CIO

NES

Red de CeProveedor

MERCAD

ntros es

CUADRO DE MANDO

AYUDAS

DECISIÓN

O

CALIDADCONTROL

DE GESTIÓN

R

ESTRUCTURA PRODUCTOS Y SERVICIOS

ADMINIS

INTERIOREXTERIOR

Page 8: Presentación semana académica unam big data abril 2015

8

Presentation Title | Date

8Copyright © 2011 Capgemini. All rights reserved.

Retorno de Inteligencia: Explotar la información disponible con el fin de mejorar la toma de decisiones estratégicas

RecolecciónDatos

AnalizarInformación

Toma de Decisiones & Acción

RecolecciónDatos

AnalizarInformación

TD&A

RecolecciónDatos

AnalizarInformación

% ti

empo

inve

rtido

Menos Maduro Más Maduro

Gestión EstratégicaAnálisisOperación

Toma de Decisiones & Acción

• Los sistemas operativos (gestión financiera, gestión de recursos materiales y de recursos humanos) del MinComercio cumplen con los requerimientos establecidos

• Los procesos son homologados y cumplen con normas internacionales establecidas

• Los sistemas actuales diariamente generan una gran cantidad de datos que en este momento se extraen en su gran mayoría en hojas Excel

• Capgemini propone diseñar e implementar un sistema de BIM (Business Information Management) con el fin de automatizar el proceso de consolidación de datos y de análisis con el fin de agilizar el proceso de toma de decisiones estratégicas

Page 9: Presentación semana académica unam big data abril 2015

9

Presentation Title | Date

Modelo conceptual de BI

Page 10: Presentación semana académica unam big data abril 2015

10

Presentation Title | Date

Componentes de un modelo de BI – Data Warehouse

“Un DataWarehouse es un conjunto de datos orientadoa temas, integrado, no volátil, estable y que se usa parael proceso de toma de decisiones”. Un DataMart es unsubconjunto sectorial del DW a menudo perteneciente a un departamento concreto.

DataWareho

use

Page 11: Presentación semana académica unam big data abril 2015

11

Presentation Title | Date

Componentes de un modelo de BI – Query y Reporting

Son las herramientas para la elaboración de informes y listados, tanto en detalle comosobre información agregada, a partir de la información de los DataWarehouses yDataMarts.

Page 12: Presentación semana académica unam big data abril 2015

12

Presentation Title | Date

Componentes de un modelo de BI – OLAP

OLAP (ONLINE ANALYTICAL PROCESSING)Es un conjunto de tecnologfas y aplicaciones de software que permite recoger los datos de la compañfa, almacenarlos e indagar sobre ellos de forma rapida e intuitiva. Se trata de crear una ‘capa de negocio’ con lenguaje funcional por encima de estructuras complejas de la Base de Datos.

Page 13: Presentación semana académica unam big data abril 2015

13

Presentation Title | Date

Ejemplos de Business Intelligence

Sector Ejemplo

Empresa conservera Mediante la implantación de un sistema de soporte a la decisión (DSS), y tras el análisis minucioso de los datos históricos que guardaba la compañía, resultó posible rediseñar todo el proceso logístico y de almacenamiento productivo hasta el punto de incrementar la rentabilidad económica de la misma en un 10%.

Cadena de supermercados

Una conocida cadena de supermercados ha recurrido a un sistema de Business Intelligence para averiguar cual era el perfil de sus clientes más rentables e intentar hacer lo posible para fidelizarlos.

Walmart Colocando Pañales al lado de la cerveza

Page 14: Presentación semana académica unam big data abril 2015

14

Presentation Title | Date

Conclusión BI

“BI ayuda a rastrear lo que en realidad

funciona y lo que no”.Bill Gates

Page 15: Presentación semana académica unam big data abril 2015

Big Data

Page 16: Presentación semana académica unam big data abril 2015

16

Presentation Title | Date

What data do you need?

Page 17: Presentación semana académica unam big data abril 2015

Que es Big Data?

80%De los datos del mundo no estánestructurados

Muchos PBs 25+ TBs 12+ TBs 30 billiones 4.6 billiones 100s de 2+ billiones 76 millionesde datos de datos de datos de tags de RFID de smart millones de de gente en de

diario diario tweet diarios diarios (1.3B phones en la GPS la red a medidoresin 2005) red vendidos finales del inteligentes

anualmente. 2011 en 2009

Page 18: Presentación semana académica unam big data abril 2015

18

Presentation Title | Date

The rise and rise of Big Data

Page 19: Presentación semana académica unam big data abril 2015

Big Data – ¿Qué es todo eso?

economías, la entrega de una nueva ola de margen de operación en más de un 60% "

“Los encuestados estiman que, para procesos en los que se ha aplicado análisis de datos grandes, en promedio, han visto una mejora del 26% en el rendimiento en los últimos tres años, y se espera que mejore en un 41% en los próximos tres.”

&

“El manejo de datos y la toma de decisiones basado en los datos pueden explicar el 5-6% en producutividad más allá de lo que se puede explicar por los insumos tradicionales y el uso de TI. “

MIT – Strength in Numbers – April 2011

“El uso eficaz de grandes volúmenes de “Estimamos que un minorista que abarca grandesdatos tiene el potencial para transformar las de datos tiene el potencial de aumentar el

crecimiento de la productividad ... Uso degrandes volúmenes de datos se convertirá “$300bn – el ahorro potencial en salud de EE.UU.”en una base clave para la competencia ...”

“$250bn – el potencial de ahorro en el sector público europeo”

McKinsey Institute – Big Data: La próxima frontera para la innovación, la competencia y la productividad - Mayo 2011

Page 20: Presentación semana académica unam big data abril 2015

Las 3V del Bid Data

Volúmen Exponencial:

Más y más dispositivos

Cada dispositivo genera más y más datos

Variedad : Datos estructurados o no estructurados

• Es sobre un mundo interconectado con múltiples fuentes

• Trabajar con datos poco estructurados o sin estructurar.

Velocidad : Esto no es sobre velocidad tecnológica

• Es sobre el valor de los datos

• El valor de los datos decrece cada minuto!

Page 21: Presentación semana académica unam big data abril 2015

¿Qué es Big Data y porqué es tan importante?

de negocio para M&E –

+ =Investigación don datos

mundo

Nuevas oportunidades:

Tesco & Wal-Mart –Conocimiento del cliente

Netflix – Nuevos modelos

basado en análisis

Amazon - Inteligencia de consumidor

Seguridad Pública –

en tiempo real

Transformación del

Nuevas Fuentes deDatos:

571 sitios web son creados cada minuto.

Más dispositivos conectados a internet que personas.

34,722 “Likes” por marca en facebook cada minuto

Más información acerca de lo que hacemos.

Tecnología que puede:

Distribución de los datos por más de 100 tipos de dispositivos de hardware conocidos

Administración de los datos (estructurados y no estructurados)

(ejemplo: Hadoop, MapReduce, R, Cassandra, Endeca, Aster, Vertica, …)

Bajos costos &volúmenes masivos

Page 22: Presentación semana académica unam big data abril 2015

Procesamiento y Almacenamiento en Memoria

Mejoramiento del performance significa :

1 - 10 ratio : 10’’ y 20’’ comienza a ser instantaneo

1 - 100 ratio : 2 minutos se vuelve 1 segundo

1 - 1000 : 2 horas son 10 segundos

48 horas de procesamiento pueden correr en3 minutos!

En un appliance de memoria40 x86 cores, 1TB of RAM

Por solo 100 K EUR !

Page 23: Presentación semana académica unam big data abril 2015

Cluster de Big Data Hadoop

Esquema con HadoopEsquema Actual

HW dedicado con altos costos de propiedad y operación.

Construido para el desempeño

Diseñado para altos volumenes (ej: 10s of TB)

Alta disponibilidad

Inicialmente desarrollado para BD estructuradas (tradicionales)

Soluciones muy maduras (características, SW, HW, administración)

Diseñado para datos modelados y estructurados

Negocio como una manera usual de diseñar, construir y entregar.

Marcas: Teradata, Exadata, Netezza, HANA, ...

Utiliza PCs comunes

Construido para una escalabilidad extrema

Diseñado para volumenes extremos (10s en PB y más)

Muy alta disponibilidad

Inicialmente desarrollado para Web

No está lo suficientemente maduro

Hadoop = Lenguaje de Estructuración de Datos

Page 24: Presentación semana académica unam big data abril 2015

Esquema Tradicional vs Esquema de Big Data

Sin Big Data

Con Big Data

Page 25: Presentación semana académica unam big data abril 2015

Flujo de Operación de un esquema Big Data

Page 26: Presentación semana académica unam big data abril 2015

Proceso de Big Data

Adquisición Ordenamiento Análisis Acción

analisis de gente para despues

Maquina ( más communes con

automática de clientes para

Tecnología BPM / Desciciones

Sistemas de información de

Gobernabilidad de datos

Colección de datos de diferentes fuentes

"La adquisición constante" ETL, pero a menudo en tiempo real tradicional debido al volumen y la velocidad

Como los datos siempre son externos hay problemas de seguridad y confianza.

Licencia para los datos / problemas de privacidad por los datos externos

Datos abiertos ( publicidad disponible

Organizacion y almacenamiento de datos

Altos volumenes siempre alimentados.

Se neceistan definir como serán consumidos (tiempo real , ASAP, historico) y filtrados apropiadamente.

Formato – estructurado, semi-estructurado no estructurado

Modelado– desde cada renglón hasta formas complejas de estructura.

Encontrando ideas y modelado predictivo

Predicción en lugar de histórico

Modelar el comportamiento - la forma en que reaccionan los clientes? ¿Cuándo es el momento óptimo para reemplazar las piezas ....

Analisis, de texto, video yvoz

Usando ideas para cambiar los resultados empresariales

Las salidas son:

Humano (ej. Reportes y

actuar sobre ellos)

Big Data) – ej.. evaluación

ajustar oferta(e.g. Amazon)

en tiempo real

socios

Page 27: Presentación semana académica unam big data abril 2015

Tecnología del proceso de Big Data

Adquisición Ordenamiento Análisis Acción

tiempo real (Oracle RTD – real

Monitoring)

(Autonomy, Attensity...)

eventos(CEP) – ETL tools eg

Gestión de Datos Maestros + Calidad de Datos + Metadata + Gestión del Ciclo de Vida de los Datos

• Extracción (Aspire)

• ETL

• Integración en tiempo real

o SOA / Web Services(eg Facebook)

o Eventos

o Enterprise Service Bus (ESB)

o Change Data Capture (CDC)

o RSS feeds

• Open data

• Social Network

• Whatsapp, Skype, etc.

• Los datos están aquí!

• Hadoop / MapReduce

• Otros almaceniamientos distribuidos utilizando SQL (eg AsterData, Neo4J, MongoDB, MarkLogic…)

• Large Data Warehousing

• Large Content ManagementSolutions

• inMemory (eg Oracle Endeca,SAP HANA)

• Streaming (ESB / InformationService Bus)

• Remover los datos que no son útiles.

• BI (SAP Business Objects, IBM Cognos, Microstrategy, Exalytics…)

• Analisis predictivo(SAS, SPSS)

• Modelado matemático (egMathematical Prediction)

• Minería de Texto, audio y video

• Procesamiento complejo de

Informatica, IBM Streams..

• BPM (Pega...)

• Herramientas de analisis en

time decision, SPSS, SAS)

• BAM (Business Activity

• Push (mail / mobile BI)

• ESB, SOA

Page 28: Presentación semana académica unam big data abril 2015

28

Presentation Title | Date

Ejemplos de Big Data

Sector Ejemplo

RetailGran Consumo

Análisis de Redes Sociales para entender las tendencias y preferencias de Consumidores (Facebook, Twitter)

Manufactura Vibraciones de maquinas para ayudar en definir el tiempo optimo hasta la sustitución

Manufactura Análisis de Redes Sociales para entender posibles defectos de productos (Coches, Maquinas) que se discuten abiertamente

Salud Análisis de Expedientes Clínicos para entender que padecimientos requieren que tipo de tratamiento y prevenir reingresos costosos

Futbol Análisis de videos y otra información de partidos para determinar la estrategia a ganar

Page 29: Presentación semana académica unam big data abril 2015

29

Presentation Title | Date

Solution:• Big Data established as a “shared service” across

multiple LOBs..• Business Cases: Next Best Action, Sentiment Analysis,

Cross-Sell/Upsell, Fraud Analytics, Mortgage Dispositions

Business Challenge:• Global bank establishing “Analytics” as a core

competency. Bank focusing on Information and Data as strategic asset.

• Bank is focused on Big Data as key analytics tool and establishing a Big Data COE to be leveraged into multiple lines of business of the bank – retail, cards, commercial

Big Data Deployments In Financial Services

Global Bank

Page 30: Presentación semana académica unam big data abril 2015

30

Presentation Title | Date

Case Studies: Global Customer Products Company

Global Consumer Products Company

Jive

Radian6

Adobe Omniture

Eloqua

Social media analytics services. Listen, monitor and engage to the social conversation with Jive and Radian6 cloud solutions. Don’t miss a word customers say about you, no matter in what language or location. Open 24x7x365 around the globe

Web analytics services. Transform website traffic data into intelligence and actionable insights with Adobe Omniture, Discover and Insight. Built to transform large amounts of off- and online data

Email and web-based marketing campaign services. Automate and align multi channel marketing campaigns with Eloqua campaign management. From lead nurturing to multi channel effectiveness all by one cloud-based marketing automation experience

Search-marketing management services. Manage multiple advertisement accounts across multiple platforms as Google, Bing and others form a single interface with Adobe SearchCenter. Manage ad spend, click through, conversion and add creatives directly

Page 31: Presentación semana académica unam big data abril 2015

31

Presentation Title | Date

Big Data Deployment: From Satellite to Mobile device

Capgemini Austria

TU Vienna / IPF

CapgeminiAerospace & Defense

GeoVille

Delivery Consortium

Office of the Styrian Government Dept. for Protective Hydraulic Eng. & Soil Water Management

Federal government of Lower Austria Department for fire department and civil protection

(Exemplary) End Users / “Clients”

New Business Model or Business Model Improvement

The FAAPS processing chainaccesses EO data and

generates geo-codedflood information

Scientific communityprovides withscientific algorithms

Satellite creates Earth Observation (EO) data

Disaster Management Centers accessflood information

Rescue Teams access flood informationvia mobile devices

Big Data Solution

ESA is advertising us: http://iap.esa.int/projects/security/faaps

Page 32: Presentación semana académica unam big data abril 2015

Arquitectura de una Solución para Seguridad

Monitoreo Redes SocialesNoticiasVideo Wall

Sistema Alertas

- Palantir + CCTV Solution- ARCGIS + Palantir

Indicadores & KPIsReconocimiento Facial

Bio-AnálisisHerramienta Investigación

- Palantir

- Palantir- Palantir

Big Data(Estructurado y No

Estructurado)Datos Públicos Datos Privados Entidades de Justicia

OtrasFuente

s

DatosBancari

os

OtrasFuente

s

Internet IFAI Telefonía Intercepción Demandas

Page 33: Presentación semana académica unam big data abril 2015

Gracias!!!!