Algunas claves y herramientas para crear una cultura organizativa basada en datos
La creación de una cultura de toma de decisiones orientada a datos se puede ejecutar de muchas maneras y está claro que no hay una fórmula mágica que le sirva a todo el mundo. Sin embargo, existen determinadas buenas prácticas que deben estar presentes en cualquier proyecto que quiera poner la información cuantitativa en el pipeline de toma de decisiones. En este articulo voy a intentar proporcionar lo que para mi son los aspectos más importantes a tener en cuenta y mostraré las herramientas que estamos usando en Mercadona Tech para conseguir que los datos formen parte de nuestro proceso de toma de decisiones de una manera coherente y científica.
La democratización del dato
Desde mi punto de vista el primer paso ineludible es proporcionar acceso a los datos a toda la organización y hacerlo de manera que sea un proceso totalmente self-service. No hay nada que aleje más a una organización de sus datos que la existencia de un departamento de Business Intelligence que funcione como la chacha de los datos para los demás departamentos. Los perfiles de Business Intelligence deben dedicar su tiempo a análisis complejos y profundos que vayan mucho más allá de sacarle los datos a algún manager con alguna hipótesis por validar y pocas ganas de remangarse y conseguir los datos por sí mismo.
En una organización basada en datos cualquier persona debe ser capaz de conseguir sus propios datos, analizarlos y sacar conclusiones a partir de ellos de manera autosuficiente. Esto significa naturalizar más allá de los departamentos más técnicos el manejo de bases de datos incluyendo un conocimiento avanzado de SQL, ya que es la única forma de acceder a los datos con la suficiente flexibilidad como para no necesitar de nadie más a la hora de realizar un análisis.
En Mercadona Tech conseguimos esto centralizando la consulta de los datos a través de Metabase, donde vamos conectando todos los repositorios y fuentes de datos que vamos creando.
Otra herramienta que probamos en el pasado fue Superset, pero en nuestro caso Metabase nos ha parecido algo más amigable y fácil de usar de cara ser utilizada por perfiles menos técnicos
Las fuentes de datos
En un entorno donde se generan grandes cantidades de datos las fuentes de datos también son múltiples. Este escenario, que puede resultar caótico, es necesario ya que significa que la recogida y el almacenamiento de datos es un proceso ágil con un coste bajo desde un punto de vista técnico. Si para crear una tabla con datos agregados necesitas la intervención de un ingeniero estás lejos de poder decir que tu cultura de trabajo está orientada a datos. En Mercadona Tech, cualquiera puede tirar una consulta SQL a través de Metabase, bajar un CSV y cargarlo en Big Query via Google Storage sin la intervención de un ingeniero. Esta flexibilidad es clave para que surja de manera orgánica esa cultura de datos.
Desde Metabase podemos acceder a réplicas de las bases de datos de producción con toda la información en bruto, manteniendo criterios de anonimización para respetar la privacidad de los datos de los clientes, también tenemos acceso a nuestras instancias de Big Query donde guardamos datos en bruto pero también datos agregados y data sets utilizados para algunas tareas de aprendizaje automático.
Incluso podemos generar dashboards sobre información contenida en Google Spreadsheet, lo que da mucha potencia a la hora de tener asegurarse que toda la información que manejamos está disponible desde el mismo sitio.
La capacidades analíticas
La tercera derivada se define a través de las capacidades analíticas de los equipos. Hace poco encontré en Linkedin esta imagen que me pareció muy ilustrativa:
La mayoría de los análisis que se encuentran en muchas empresas son hojas excel con sumas, restas, multiplicaciones y divisiones, lo cual limita mucho la capacidad para hacer análisis mínimamente complejos. Hoy en día y gracias a la disponibilidad de multitud de librerías y frameworks que implementan métodos de análisis avanzados podemos acceder a herramientas estadísticas y matemáticas complejas con una curva de aprendizaje bastante más suave que hace 10 años.
En nuestro caso usamos Colaboratory de Google, que desde mi punto de vista es una pasada, ya que permite crear y compartir notebooks de Jupyter como si de un documento más de Google Drive se tratase. El uso de pandas, scikit-learn, numpy o Prophet, nos permite ir más allá de los clásicos análisis de excel, tanto en escalabilidad, debido a que podemos trabajar con un volumen de datos mayor, como en complejidad. Por ejemplo Prophet nos está permitiendo realizar forecast para ventas y para nuestra cadena de suministro de manera muy sencilla y sin necesidad de contar con grandes conocimientos técnicos o estadísticos.
Utilizar Python en estos entornos no es más complejo que utilizar excel y sin embargo si es mucho más potente, yo suelo bromear diciendo que estas herramientas son un excel con esteroides al alcance de cualquiera, no solo de ingenieros y otros perfiles técnicos similares.
Conclusiones
Nuestro enfoque está siendo muy iterativo y aún tenemos mucho que mejorar para conseguir una organización donde los datos formen parte realmente de nuestro día a día pero sin duda las herramientas que he mencionado más arriba nos están ayudando mucho a mejorar en este sentido.
