Sé que muchos se han cuestionado si
Con las nuevas tecnologías se puede prescindir de un datawarehouse o datamarts?
Cada día la cantidad de datos en las compañías va creciendo de manera exponencial, y esta pregunta toma cada vez mas fuerza sobre todo por el costo del almacenamiento de los datos
Esta pregunta la escucho con mucha frecuencia hoy día, y con la misma frecuencia es común leerla en artículos. Pues bien, en este quiero exponer mi opinión al respecto.
Esta pregunta tiene su fundamento dado que con programas como Power BI, Qlik y Tableau, entre otros; es posible conectarnos a orígenes de datos transaccionales y aplicar tareas de limpieza, transformación y modelado en la misma herramienta sin utilizar alguna otra especializada, y mucho menos requerir de un datawarehouse.
¿Entonces para que ocuparnos en hacer complejas tareas en programas como SQL Server Data Tools e implementar toda una costosa arquitectura de datawarehouse?
Es cierto que no tendría sentido, pero únicamente en aquellos casos donde:
- la cantidad de datos no es tan grande
- no requerimos una lectura recurrente o la información se encuentra en un servidor con capacidad suficiente para atendernos sin afectar la atención al servicio core
- no necesitamos datos centralizados
Ahora bien, con la implementación de una bodega de datos corporativa lograremos:
- un gobierno de datos (y el tema de accesos sin gobierno es un verdadero dolor de cabeza, por decir poco);
- implementar procesos ETL que se encarguen, de manera más profesional, de darnos datos con excelente calidad, en menor tiempo y con menor probabilidad de afectación ante los usuarios finales que actualmente acceden a la información. Estos procesos también nos facilitan la integración de datos desde distintos orígenes.
- Podremos optimizar la arquitectura de los datos, implementando tablas e indices particionados, entre otras formas de optimización.
- Crear modelos tabulares que conserven los datos siempre servidos en memoria ante cualquier uso, o modelos multidimensionales (aunque la arquitectura en memoria también se maneja con Power BI, por ejemplo)
- tendremos datos centralizados, ayudándonos a optimizar la demanda de la transaccional y la calidad de datos de forma transversal a nivel organización.
Sin embargo, para lograr tener una bodega de datos debemos ser conscientes que necesitamos contar con el apoyo de la alta dirección que nos brinde los recursos necesarios para lograr una buena arquitectura física, un buen equipo de ingenieros de BI acompañado de un equipo multidisciplinario del negocio que levanten nuevos procesos y que nos ayude a lograr el apoyo del resto de la organización. Un proyecto de BI no será exitoso sin el apoyo del negocio, aún con todos los recursos físicos disponibles.
En conclusión, la empresas pequeñas pueden sobrevivir sin una bodega de datos; pero a medida que la demanda crece y la calidad de datos es mas exigente debemos buscar el apoyo de la alta dirección para implementar un proyecto de BI con una bodega de datos.
