-
Valorización de Proyectos Big Data
Clase 6: Data Big Data Benchmarking
Valorización de Proyectos Big Data
6. Big Data Benchmarking
-
Big Data BenchmarkingUna vez que una compañía ha decidido
emprender el camino de convertirse en una compañía Data Driven, y
analizado que sus desafíos de negocio requieren de una arquitectura
de Big Data comienza la fase de analizar alternativas.El proceso
puede ser muy desafiante y difícil de controlar ya que el universo
de compañías que poseen soluciones de Big Data es realmente amplio.
Además, según el caso de uso el desempeño de una u otra solución
puede ser diferente. Teniendo en cuenta estos dos aspectos, tamaño
del ecosistema de proveedores y variabilidad de la performance de
las soluciones según su uso, brindaremos un marco de análisis de
las diferentes arquitecturas.
Valorización de Proyectos Big Data
6. Big Data Benchmarking
-
Tipos de Aplicaciones de Big Data Al buscar diferentes
alternativas para trabajar con Big Data, las compañías se
encontrarán con proveedores que poseen una amplia oferta de
servicios, software y hardware,
vendidos por separados o como appliances integradas y
parametrizadas para trabajar en forma conjunta de una manera
óptima. Pero la clase de solución de Big Data
correcta es aquella que mejor se adapte al desafío que la
empresa busca resolver, ya que no hay una solución que sea óptima
para todos los problemas.
Valorización de Proyectos Big Data
6. Big Data Benchmarking
-
Por ejemplo, si su compañía busca administrar clientes y
proveedores de una forma más eficiente y adquiriendo un mejor
control de los mismos, con más profundidad y
detalle, un data warehouse y una solución de business
intelligence puede ser suficiente. Si el equipo de producción
quiere usar Big Data para descubrir nuevas oportunidades
para incrementar la eficiencia operativa y entender que materias
primas impactan de diferente forma en los márgenes de producción,
es posible que la compañía necesite
considerar crear una data lake y/o invertir en una solución de
data mining. Si, por último, lo que la compañía busca crear es una
cultura data-driven dónde todos en la
organización utilicen datos para guiar su toma de decisiones,
entonces lo que la compañía va a necesitar es un data lake y un
modelo analítico predictivo y una base de datos
in-memory y posiblemente modelos analíticos capaces de modelar
datos en streaming (streaming analytics).
Valorización de Proyectos Big Data
6. Big Data Benchmarking
-
Además, la decisión se vuelve un poco más compleja ya que la
línea divisoria entre las soluciones no es tan clara, y por
ejemplo, herramientas de BI suelen incorporar herramientas
analíticas y de visualización. Es por esto, que la mejor forma que
tiene la empresa de enfocar esta decisión es definir claramente el
objetivo de negocio y luego buscar soluciones en el mercado que le
permitan alcanzar el objetivo planteado y tengan potencial de
expandirse a las necesidades que puedan aparecer en el corto o
mediano plazo, en caso de que las necesidades cambien o se
incrementen.
Valorización de Proyectos Big Data
6. Big Data Benchmarking
-
Decisiones claves durante la elección de una solución Big Data
Siguiendo con el proceso de decisión y benchmarking, una vez
definido el uso o tipo de aplicación necesaria, se deben tomar una
serie de decisiones claves que también ayudan a ir reduciendo el
número de opciones. Estas decisiones se aplican a casi todos los
tipos de uso de aplicaciones Big Data
Valorización de Proyectos Big Data
6. Big Data Benchmarking
-
On-premise o Cloud La primera gran decisión es si implementar
esta aplicación en servidores propios, en data centers propios o
no. O en cambio, se utilizará algún proveedor cloud.
Cada día más y más compañías eligen comenzar sus proyectos de
Big Data en el cloud ya que eso les permite generar prototipos de
forma rápida, sin importantes inversiones
de capital en equipamientos. Esto explica el gran crecimiento de
estas líneas de negocio para las compañías que dan este tipo de
servicios, como Amazon, Microsoft, Google
o Telefónica.
Valorización de Proyectos Big Data
6. Big Data Benchmarking
-
Algunas de las razones de su popularidad tienen que ver con la
escalabilidad y la facilidad de administración. Los principales
además, son pioneros en algoritmos de machine
learning e inteligencia artificial, con lo cual permite integrar
aplicaciones analíticas avanzadas en las soluciones.Sin embargo, es
posible que el cloud no sea la mejor opción
para todos los casos. Aquellas organizaciones con regulaciones
muy estrictas, muchas veces requieren mantener la información
sensible on-premise. También puede haber
organizaciones que ya tengan fuertes inversiones en
instalaciones para Big Data, para las cuales sea más económico
seguir trabajando on-premises o combinar ambas
soluciones, cloud y on-premise en un enfoque híbrido. Para una
compañía que recién comienza a trabajar en Big Data, quizás sea más
fácil explorar aplicaciones en el cloud y
luego evaluar los costos de operar en el cloud contra operar
on-premise. Esto siempre que no tenga restricciones
regulatorias.
Valorización de Proyectos Big Data
6. Big Data Benchmarking
-
Aplicaciones propietarias vs. Open Source:Muchas de las
principales soluciones de Big Data son Open Source, incluyendo todo
el ecosistema de Hadoop y otras herramientas analíticas como
Python, Spark y Scala entre otros.Uno de los grandes atractivos de
las soluciones Open Source es el bajo costo total de
implementarlas. Mientras que algunas soluciones propietarias pueden
significar grandes inversiones en licencias o en hardware
especializado. Hadoop no tiene costos de licencias y puede correr
en hardware estándar.Sin embargo, grandes empresas suelen contratar
soporte y servicios de consultoría para recibir apoyo en poner en
funcionamiento soluciones complejas y poder configurarlas de
acuerdo a sus necesidades. En este caso, los gastos de soporte o
consultoría deben ser considerados a la hora de estimar el costo
total de la implementación.
Valorización de Proyectos Big Data
6. Big Data Benchmarking
-
Aplicaciones en tiempo real vs aplicaciones Batch: Las primeras
implementaciones de Big Data, como Hadoop, procesan solo datos en
lotes (batch data). Pero actualmente, las compañías tienen un
interés creciente en analizar datos en tiempo real, lo cual ha
generado más interés en soluciones de streaming tales como Spark,
Storm, Samza entre otros.Es importante considerar esta capacidad en
el plan de la compañía independientemente de que se vaya a usar o
no, ya que es muy probable que en un futuro cercano, este sea el
estándar de la industria y sea una característica necesaria en una
adecuada plataforma de Big Data.En esta dirección han tomado sus
decisiones muchas compañías, que se están moviendo hacia una
arquitectura Lambda, que como vimos en clases anteriores, es una
arquitectura que permite manejar tanto datos en tiempo real como en
lotes.Una vez definido el tipo de aplicación y de haber reducido
aún más las opciones con los aspectos que comentamos en el apartado
anterior, hay una serie de factores que es importante examinar para
elegir entre las aplicaciones de Big Data que se están
seleccionando.
Valorización de Proyectos Big Data
6. Big Data Benchmarking
-
Integración con la tecnología Legacy: Muchas organizaciones ya
tienen inversiones en herramientas de data management y
herramientas analíticas. Reemplazar estas tecnologías completamente
puede ser disruptivo o incluso perjudicial para el negocio. Es por
eso que la compañía debe evaluar que la aplicación de Big Data
pueda trabajar en paralelo con las soluciones actuales o
complementarlas.
Valorización de Proyectos Big Data
6. Big Data Benchmarking
-
Performance: Es importante que la solución funcione bien con las
necesidades de velocidad que la aplicación de negocio requiere. Es
importante que los insights se integren al negocio en el momento
correcto para que puedan ser útiles para tomar decisiones en forma
continua.
Valorización de Proyectos Big Data
6. Big Data Benchmarking
-
Escalabilidad: El almacenamiento de Big Data crece en forma
diaria. Las organizaciones necesitan aplicaciones que no solo
funcionen bien actualmente, si no que necesiten que puedan seguir
funcionando rápidamente, aunque la data crezca exponencialmente.
Esta necesidad de escalabilidad, tanto en el almacenamiento como en
el procesamiento, es una de las razones de que las plataformas
cloud sean cada vez más populares.
Valorización de Proyectos Big Data
6. Big Data Benchmarking
-
Usabilidad: También se debe considerar la curva de aprendizaje
de las plataformas que se buscan adquirir. Herramientas de fácil
instalación, configuración e interfaces intuitivas, proveen un
valor agregado ya que facilitan su adopción a través de los
distintos niveles de la organización.
Valorización de Proyectos Big Data
6. Big Data Benchmarking
-
Visualización: Es importante que la solución posea o se integre
fácilmente con herramientas de visualización, ya que este tipo de
interfaces son cada vez más necesarias y facilitan la adopción.
Valorización de Proyectos Big Data
6. Big Data Benchmarking
-
Flexibilidad: Las necesidades actuales de Big Data son
diferentes a las que la compañía tendrá en los próximos años. Es
por esto que es necesario considerar si la aplicación es posible de
utilizar en diferentes objetivos o solo resuelve un tipo de
problema de negocio (aunque lo haga muy bien).
Valorización de Proyectos Big Data
6. Big Data Benchmarking
-
Seguridad: Muchos de los datos que las empresas operan en
plataforma de Big Data son de gran interés para sus competidores o
hackers que pueden buscar hacer un mal uso de los mismos. Es por
eso que es importante evaluar las medidas de seguridad y que tenga
características tales como encriptación de los datos en movimiento
y almacenados (in rest). Este punto suele ser resuelto de forma
bastante estándar pero es importante que estas medidas se integren
con las medidas de seguridad de la compañía.
Valorización de Proyectos Big Data
6. Big Data Benchmarking
-
Soporte: Aunque se cuente con un equipo de IT muy experimentado,
siempre es bueno considerar si existe soporte local para la
aplicación elegida, que tipo de soporte es el que brindan y como es
el ecosistema de partners que puedan brindar soporte.
Valorización de Proyectos Big Data
6. Big Data Benchmarking
-
Ecosistema: Muchas organizaciones requieren un número de
diferentes aplicaciones de Big Data, con lo cual es un punto a
favor a la hora de evaluar una solución la capacidad de integrarse
con otras soluciones de Big Data o fuertes alianzas con otros
proveedores.
Valorización de Proyectos Big Data
6. Big Data Benchmarking
-
Costo total: El costo de inversión inicial de una aplicación de
Big Data es solo una pequeña parte del costo total. Es importante
que al valorizar el proyecto se tengan en cuenta los costos
relacionados al hardware necesario, las licencias y subscripciones,
el tiempo de los empleados, el costo de servicio de soporte y de
arriendo de data centers en el caso de instalaciones on-premise. En
el caso del cloud, los costos son un poco diferentes y en general
decrecientes a medida que se incrementa el uso y se contrata
almacenamiento y capacidad de cálculo en forma anticipada.
Valorización de Proyectos Big Data
6. Big Data Benchmarking
-
Time to value estimado: Otra importante consideración financiera
es que tan rápido se pondrá en producción la aplicación. Muchas
compañías prefieren realizar proyectos pequeños consecutivos, que
permitan comenzar a generar valor cuanto antes en lugar de
emprender grandes proyectos que duren meses o años.
Valorización de Proyectos Big Data
6. Big Data Benchmarking
-
Inteligencia Artificial y Machine Learning: Finalmente, se debe
considerar que tan innovadores son los proveedores de la aplicación
de Big Data. Si se elige un proveedor que no esté en la frontera de
la innovación, es muy probable que, en poco tiempo, la compañía se
encuentre limitada por su plataforma y quede detrás de su
competencia.Como hemos visto, elegir una aplicación de Big Data es
un proceso complejo, que requiere evaluar muchas opciones y debe
ser realizado con cuidado, como parte de una decisión estratégia
que puede cambiar el futuro de la compañía. Es por esto que para
analizar que implementar adecuadamente una de estas tecnologías se
debe tener un claro entendimiento de los objetivos del proyecto,
tener una buena comunicación y apalancar sobre resultados para ir
creciendo.
Valorización de Proyectos Big Data
6. Big Data Benchmarking
