Big Data y Open Data LINEA DE TIEMPO

2007 La consultora tecnológica IDC Corporation (www.idc.com) publicó su primer informe de la información digital almacenada en el mundo en el año 2007 y sus predicciones de crecimiento para el año 2010. Este informe fue patrocinado por la compañía EMC, líder mundial en fabricación de sistemas de almacenamiento.

Algunos de los datos significativos del resumen ejecutivo del primer informe de 2007 eran los siguientes:

En 2006, la cantidad de información digital creada, capturada y guardada (replicated) era de 161 exabytes (una información 3 millones de veces la información contenida en todos los libros escritos hasta esa fecha.

Entre 2006 y 2010 la información que se añadirá anualmente al universo digital se incrementaría desde 161 exabytes a 988 Hexabytes.

IDC predecía que en 2010, casi el 70% del universo digital seria creado por los individuos y que la seguridad de la información y la protección de la privacidad serian uno de los temas más preocupantes.

2008

La era del Petabyte3 fue el título del artículo publicado en la prestigiosa revista Wired en 2008 y firmada por Chris Anderson, su editor. Este artículo publica un estudio sobre la cantidad de información digital almacenada en el mundo en esas fechas. Se destaca en el estudio la proliferación de sensores por todas partes, el almacenamiento infinito, nubes de procesadores y se comenta nuestra capacidad para capturar, almacenar y comprender las cantidades masivas de datos (big data) que están cambiando la ciencia, la medición, los negocios y la tecnología.

2008•1 Terabyte (TB) era el espacio equivalente a 250.000 canciones almacenadas en medios digitales.

•20 Terabytes, todo el espacio ocupado por las fotos subidas (uploaded) a Facebook cada mes.

•120 Terabytes, todos los datos e imágenes recogidas por el telescopio espacial Hubble.

•460 Terabytes, todos los datos climáticos de los Estados Unidos recopilados en el National Climatic Data Center.

•530 Terabytes, todos los videos de YouTube.

•600 Terabytes, el espacio ocupado por la base de datos genealógica de los Estados Unidos, que incluía los censos de población desde el año 1790 al año 2000.

•1 Petabyte (PB), los datos procesados por los servidores de Google cada 75 minutos.

2008IDC volvió a publicar su informe en 2008 pero ahora denominado “Digital Universe” (El Universo Digital) y ya en esa ocasión las cifras dadas eran: 281 exabytes en 2007 y se preveía para 2011 la cantidad de 1800 exabytes (1,8 ZB) o sea 10 veces la información producida en 2006. Una de las razones fundamentales para el crecimiento se achacaba al creciente número de cámaras fotográficas y sobre todo el aumento de la revolución de las cámaras independientes y de las cámaras incorporadas a los teléfonos celulares, que consideraban cifras medias de 5 megapixeles. El informe preveia un inimaginable valor de 25 Zettabytes para el año 2020.

2009

En 2009 y por tercer año consecutivo IDC volvió a publicar el informe del Universo Digital. En esta edición, la cifra almacenada en el año 2008 llego a los 487 de exabytes y daba como dato anecdótico que esta cantidad era el equivalente a 30.000 millones de iPod Touch o 10.000 millones de discos BluRay totalmente cargados, o 162 billones de fotos digitales. Ya en este informe comenzaban a darse datos del impacto de Twitter y otras redes sociales.

La nueva administración de los Estados Unidos inicio en 2009 la iniciativa de Open Data y en paralelo la Union Europea ha ido adoptando también dicha iniciativa. En España los pioneros han sido dos gobiernos autonómicos: el Principado de Asturias y el País Vasco. El objetivo de ambos gobiernos ha sido generar riqueza y otorgar transparencia y seguridad jurídica al ciudadano.

2010En 2010 y coincidiendo con el inicio de la década, el informe paso a denominarse “The Digital Universe Decade” y se publicó en el mes de mayo; en el se pronostica que en 2020 el Universo Digital crecería en cantidades inimaginables, y que el crecimiento del año 2009 fue del 63% y que el Universo Digital en 2020 seria 50 veces mayor que en el año 2009.

Los datos más sobresalientes del “Universo Digital de la Decada” en mayo 2010 eran:

•El año 2009, pese a los datos de recesión global, el conjunto del Universo Digital creció en un 62%, casi 800.000 Petabytes. Un dibujo de una fila de discos DVD iría de la Tierra a la Luna y regresaría.

•El crecimiento previsible para el año 2010 alcanzaría la cifra de 1,2 millones de Petabytes, o sea 1,2 Zettabytes (una unidad de medida hasta ese momento nunca utilizada).

•Este crecimiento explosivo significaba que en 2020 el Universo Digital seria 44 veces más grande que en 2009 (la fila de DVD, ahora podria llegar a la mitad del camino a Marte).

2010La prestigiosa revista económica The Economist dedicó en 2010 un suplemento especial al mundo de los Datos7 en que destacaba en su portada: “Datos en todas partes”, y cómo la información ha evolucionado desde la escasez a la superabundancia, lo que conduce a nuevos grandes beneficios, pero también a grandes preocupaciones o dolores de cabeza, según señala en su primer artículo Kenneth Cukier. Algunos datos con los que se inicia el informe mencionan algunas cifras astronómicas de información que se podían encontrar en la Tierra en las fechas de publicación. Wal-Mart, el gigante de los grandes almacenes de los Estados Unidos, manipula más de 2,5 Petabytes, el equivalente de 167 veces los libros de la Biblioteca del Congreso de América (America´s Library Congress); la red social Facebook aloja 40.000 millones de fotografías y la decodificación del genoma humana implicaba el análisis de 3.000 millones de pares básicos, que tardan 10 años en recolectarse la primera vez que se hizo en 2003, y que hoy se pueden conseguir en una semana.

2011IDC y EMC continúan con sus estudios sobre almacenamiento digital y el último informe, “El Universo Digital” de 2011, se presentó el 28 de junio con un nuevo título “2011 Digital Universe Study: Extracting Value from Chaos”.12 Las conclusiones más sobresalientes se refieren al hecho de que el volumen de información continua creciendo a una velocidad espectacular y este crecimiento y los “big data” están transformando todos los aspectos de los negocios y de la sociedad, y controlando los cambios económicos, científicos, tecnológicos y sociales que se están produciendo. Otros aspectos importantes que destaca el estudio se refiere a que la información del mundo se duplica cada dos años y que en 2011 se crearían 1.8 zettabytes, creciendo de un modo más rápido que la conocida Ley de Moore. Las empresas manejaran 50 veces más datos y la cantidad de archivos será 75 veces mayor en la próxima década.

2011Que a cada persona del mundo se le practiquen más de 215 millones de resonancias magnéticas de alta resolución por día.

Más de 200,000 millones de películas en HD (cada una de 2 horas de duración): ver esta cantidad de películas le llevaría a una persona dedicada 24 x 7, 47 millones de años.

El estudio constata el hecho de que “los medios de almacenamiento son cada vez más económicos, p. e. permiten tomar fotografías de alta resolución con los teléfonos celulares, que a su vez generan una demanda de más medios de almacenamiento y las unidades de mayor capacidad permiten replicar información, lo que a su vez facilita e impulsa el crecimiento de contenidos”.

Según el portal data.gov del gobierno federal de Estados Unidos, a finales de octubre de

2011, en América Latina y el Caribe solo existía un país con iniciativa de Open Data. Este país era Perú con el proyecto Open Data Perú (a finales de febrero de 2012 se había incorporado Uruguay).