33
Introducción básica a Big Data e inventario de herramientas efectivas para Big Data @tiango lo

Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

Embed Size (px)

DESCRIPTION

Presentación de una de las conferencias sobre Big Data dadas en SENASoft - Colombia, el evento sobre TIC más importante de Colombia organizado por el SENA sobre tecnologías de la información y la comunicación. Por: Sebastián Ramírez Twitter: @tiangolo

Citation preview

Page 1: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

Introducción básica a Big Datae inventario de herramientas

efectivas para Big Data

@tiangolo

Page 2: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

¿Quién les habla?

Sebastián RamírezSENSETA

Inteligencia Artificial sobre Big Data

@tiangolo

Page 3: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

¿Por qué “Big Data”?

@tiangolo

Page 4: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

Crecimiento exponencial de datos

90% en últimos 2 años

@tiangolo

Page 5: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

Múltiples fuentes de datos

@tiangolo

Page 6: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

Bases de Datos Tradicionales

• Procesador

• Memoria

• Disco…

@tiangolo

Page 7: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

¿Qué es Big Data?

@tiangolo

Page 8: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

3 V de Big Data• Volumen • Velocidad • Variedad

@tiangolo

Page 9: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

VolumenTamaño en disco, Bytes

@tiangolo

Page 10: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

VelocidadNuevos datos rápidamente

@tiangolo

Page 11: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

VariedadMúltiples formatos

@tiangolo

Page 12: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

Volumen, Velocidad, Variedad

@tiangolo

Page 13: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

¿Cómo comenzó?

@tiangolo

Page 14: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

Google Map Reduce

@tiangolo

Page 15: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

Hadoop

2005Open SourceMap Reduce

HDFS

@tiangolo

Page 16: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

Cluster Hadoop

@tiangolo

Page 17: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

Hadoop HDFSHadoop Distributed File System

@tiangolo

Page 18: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

Hadoop Jobs

@tiangolo

Page 19: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

Nodos Hadoop

@tiangolo

Page 20: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

Hadoop Map Reduce

@tiangolo

Page 21: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

Map function

Reducefunction

Input Splits

Fase “Map” Fase “Reduce”

Map Reduce

@tiangolo

Page 22: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

¿Qué existe ahora?

@tiangolo

Page 23: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

“Ecosistema” Hadoop

@tiangolo

Page 24: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

Distribuciones Hadoop

@tiangolo

Page 25: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

¿Quién usa Big Data y para qué?

@tiangolo

Page 26: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

Facebook

•1.100 nodos•8.800 CPUs•12 PetaBytes

•300 nodos•2.400 CPUs•3 PetaBytes

@tiangolo

Page 27: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

Obama

@tiangolo

Page 28: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

NSA

@tiangolo

Page 29: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

Reciclaje

•De semanas a horas•Optimización de rutas

@tiangolo

Page 30: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

¿Cómo estudiar más?

@tiangolo

Page 31: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

Udacity: Intro to Hadoop

@tiangolo

Page 32: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

Hortonworks Sandbox

@tiangolo

Page 33: Introducción básica a Big Data e inventario de herramientas efectivas para Big Data

¡Gracias!

Sebastián Ramírez

Twitter: @tiangolo

Linkedin: http://lnkdin.me/p/tiangolo