Pablo Nappe
Gerencia de TI
10 de marzo de 2022
“El 83% de los CEOs quieren que su organización se maneje utilizando más datos de los que actualmente usan… el 87% de los directores de experiencia dicen que ser una empresa inteligente es una primera prioridad…el 30% dice que sus acciones están basadas en el análisis de datos”(1).
Los datos están por todas partes, cada vez hay más y la demanda para crear valor a partir de ellos aumenta. Implementar una plataforma basada en el análisis de datos, para la toma de decisiones, requiere comprensión del desafío y conocimiento de herramientas necesarias para su puesta en escena.
Big Data se puede describir de manera simple como la velocidad y cantidad en la que llegan los datos, los que pueden variar desde datos estructurados (Excel o bases de datos), semi estructurados (XML) y no estructurados (imágenes o videos). Toda esta información es guardada para posterior realizar análisis y obtener conclusiones; siguen siendo simplemente “datos”, sólo que se han vuelto tan complejos que las organizaciones se han visto en la necesidad de buscar formas innovadoras de obtener, limpiar, entender y hacer uso de ellos(2).
El objetivo principal es obtener valor a través de su estudio. Google es una de las empresas que más usa los datos en el mundo y genera valor de los datos mediante los siguientes pasos (3).
1. Creación: Se generan los datos, como un click de un usuario.
2. Colección de los datos: Se extraen los datos y se insertan en sistemas informáticos.
3. Procesamientos de los datos: Se transforman de acuerdo con su propósito.
4. Almacenamiento: Este es el lugar donde viven los datos para ser usados en el formato que sea más fácil para hacer el análisis rápido y certero.
5. Análisis: Se genera el proceso mismo de estudiar los datos para dar una orientación al negocio que genere valor.
6. Activación: Se toma acción en base a lo sugerido por los datos.
Cada empresa puede tener distintas complejidades al momento de su implementación. Mucho depende de su cultura, por lo que se pueden dividir en 4 grupos, dependiendo de la maduración frente a los datos(4).
1. Consciente: Etapa muy temprana en el camino a una cultura basada en los datos.
2. En adopción: Ciertas iniciativas de cultura de datos, implementación en partes aisladas de la organización.
3. Madura: Adopción de herramientas, capacitación e impulso de los datos en la mayoría de los departamentos.
4. Basada en los datos: Organizaciones líderes con una fuerte cultura de datos en todos sus ejes.
Ninguna compañía tiene arquitecturas tecnológicas iguales, ni pueden implementar una de la misma manera, pero se han detectado patrones que tienen aquellos que generan con éxito una plataforma de Big Data(5): Capa de llegada o Data Lake, es un lugar dónde puede llegar cualquier tipo de dato ya sea estructurado, semi estructurado o no estructurado; combinación entre uso de servidores y soluciones serverless (sin servidor), es una división entre distintas tareas, las serverless permiten mayor flexibilidad y elasticidad; soporte para volumen, velocidad y variedad, esto aplica no sólo para los datos, sino también para su complejidad y número de casos de uso, muchos de los cuales serán descubiertos en el camino; herramienta correcta para el trabajo, es adaptar la arquitectura para ajustarse a la estrategia de datos, manteniéndose siempre ágil y que pueda cambiar en base a las necesidades del negocio; seguridad y gobernanza, son fundamentales para asegurar la escalabilidad y el uso correcto de los datos; y consciencia de los costos, siempre es necesario considerar el costo. Los sistemas cloud permiten elasticidad para el crecimiento, pero hay que tener en cuenta las implicancias financieras.
La gran mayoría de las organizaciones cuentan con bases de datos que tienen una función transaccional, es decir, sirven para el quehacer diario de actualizar información e ingresar datos nuevos. Si quisiéramos realizar todo en este mismo lugar, lo más probable es que el sistema colapse o se ralentice por la cantidad de cálculos, datos nuevos y lecturas para los análisis, o, simplemente, no lleguemos ni a una fracción del potencial que podríamos tener.
Es por esto, por lo que se necesita generar nuevos sistemas informáticos, donde podamos externalizar los cálculos y su almacenaje, ya que la naturaleza arquitectónica es distinta entre un sistema transaccional y uno de inteligencia de negocios.
Una herramienta esencial es contar con un lugar para el almacenamiento de los datos, que para sistemas centralizados se conoce como Data Lake o Data Warehouse. Si bien algunos se refieren a ellos sin distinción, hay quienes dicen que el Data Warehouse es un almacén estructurado. Según Gartner, empresa consultora de renombre en el área tecnológica, 57% de los líderes en datos y análisis están invirtiendo en Data Warehouse y 39% en Data Lakes(6).
Otro aspecto relevante se relaciona con la compleja tarea de alimentar estos sistemas mediante la extracción, transformación y carga de los datos (ETL por sus siglas en inglés). Esto consiste en generar procesos automáticos, algunos en paralelo y otros en cascada, que irán obteniendo información a lo largo de fuentes que pueden ser distintas, internas y externas, realizar cálculos, transformaciones y todo lo trascendental para que estén almacenadas, debiendo tener, en muchos casos, la evolución de manera periódica de los datos, para que pueda ser analizado por el personal de la manera simple y rápida, enfocados siempre al propósito de negocio.
A medida que el escenario del Big Data evoluciona tanto en la organización como fuera de ella, este proceso se repite una y otra vez, ajustándose a los cambios y a las nuevas necesidades.
Según Paul Gibbons, consultor y autor, “El lado humano de los análisis es el desafío más grande al implementar Big Data”. La cultura juega un rol quizás más importante en el proceso. Aquellos colaboradores con conocimiento y comprensión de los datos son la fuerza que impulsa una cultura basada en los datos. Tener muchos datos no garantiza el éxito, es necesario la combinación entre tecnologías, datos y personal con valores, comportamiento y actitudes que promuevan y permitan el uso relevante de los datos como un motor principal en la toma de decisiones(7).
La creación de valor en base a una cantidad masiva de datos requiere dedicación, conocimiento y talento del área informática en toda la organización, así como también agentes de cambio en lo cultural y apoyo gerencial.
Al considerar todos estos desafíos como los ETL en el flujo y carga de los datos, el Data Warehouse en el ámbito de almacenamiento y la cultura organizacional en el proceso de toma de decisiones en base a los datos, podemos decir que poseemos lo necesario para planear una buena estrategia, comenzar una implementación y sumergirnos exitosamente en la era del Big Data.
[1] How Data Culture Fuels Business Value in Data-Driven Organizations, Tableu mayo 2021, página 4
[2] Tableu and Big Data: An Overview
[3] What type of data processing organization are you?, Google Cloud septiembre 2021
[4] How Data Culture Fuels Business Value in Data-Driven Organizations, Tableu mayo 2021, página 3
[5] Tableu and Big Data: An Overview, página 13
[6]The Best Ways to Organize Your Data Structures
[7] Why You Should Care About Data Culture, Tableu abril 2020