Transformando Nuestro Enfoque en Datos en La Haus: Un Viaje de Resiliencia y Adopción de Tecnología

En La Haus, transformamos nuestro equipo de datos de una estructura fragmentada a una sinergia eficiente de “analytics engineers”. Este artículo detalla nuestro viaje de superar desafíos financieros y tecnológicos hacia una colaboración y eficiencia mejorada.

Cuando ingresé a La Haus, nuestro equipo de datos era un conglomerado de cuatro áreas distintas: analistas de datos, ingenieros de datos, científicos o ingenieros de machine learning, y aquellos encargados de mantener y desplegar la infraestructura de datos. En total, éramos alrededor de 30 personas. Sin embargo, en una estructura tan extensa, los límites entre estas áreas eran evidentes, limitando nuestras oportunidades de aprendizaje mutuo.

Nuestro equipo de datos tenía la tarea de satisfacer las necesidades y requerimientos de diversas áreas dentro de la empresa, desde comercial y marketing hasta CRM y finanzas. La estructura implicaba que los analistas, dispersos en varias áreas, solicitaban datos a los ingenieros para comprender el negocio. Mientras tanto, los científicos entraban para potenciar los datos generados por ingenieros y analistas, construyendo modelos avanzados para mejorar y robustecer nuestras entregas.

Una observación clave fue que nos estábamos especializando tanto en nuestros dominios asignados que algunos se identificaban más con áreas específicas como comercial, marketing o finanzas. Algunos analistas incluso cambiaron a roles de Project Manager, olvidando su conexión con el equipo de datos.

Además, la lógica de negocio de cada dominio residía en sistemas de visualización, ya que modificar las tablas en el almacén de datos era un proceso laborioso. Esta dinámica generó limitaciones claras de responsabilidades: los analistas pensaban que las ETL, la creación de modelos y la mejora del rendimiento eran responsabilidad de los ingenieros, mientras que estos consideraban que la presentación de datos y la comprensión de los stakeholders eran tareas de los analistas.

No teníamos un repositorio centralizado de datos que permitiera un acceso universal y una comprensión clara de la procedencia de las tablas y los procesos para la visualización. Este panorama generó dificultades, ya que algunos miembros del equipo no tenían habilidades técnicas básicas, mientras que otros querían aprender, pero se sentían limitados por sus roles asignados.

Luego, la empresa enfrentó desafíos financieros y decisiones difíciles llevaron a una reducción del 80% del equipo de datos. Nos vimos obligados a repensar cómo apoyar una empresa acostumbrada a obtener datos rápidamente, pero con menos manos y habilidades.

Iniciamos sesiones para explorar cómo la tecnología podría convertirnos en maestros de datos, y la respuesta fue la implementación de dbt. Esta herramienta nos permitiría, con un equipo reducido, atender las necesidades de datos de manera autónoma y eficiente. La aprobación entusiasta del equipo nos llevó a un proceso de capacitación, donde superamos barreras y mostramos el potencial de dbt para el crecimiento técnico.

Nuestra implementación de dbt transformó drásticamente la forma en que operamos. Pasamos de tener 30 miembros especializados a convertirnos, todos en “analytics engineers”, capaces de manejar proyectos end-to-end gracias a las capacidades que dbt nos brindó.

Durante este proceso, identificamos claves para nuestro éxito. Un equipo de seis personas abarca todo el espectro del éxito del equipo, desde el enfoque en datos con mucha cercanía con arquitectura (DataOps) hasta la cercanía al negocio para ser muy criticos con nuestros entregables, creando una sinergia única que impulsa nuestro progreso.

En cuanto a la implementación de dbt, reconocemos varias capas esenciales en nuestro enfoque para la compañia:

1. Sistemas Transaccionales: La capa más cercana a los datos crudos provenientes de los sistemas transaccionales.
2. Transformaciones Simples: Realizamos transformaciones adicionales, como la interpretación de datos en formato JSON hasta la eliminación de campos técnicos, preparando los datos para la siguiente etapa.
3. Almacén de Fuentes Confiables: Similar a una góndola de supermercado, esta capa garantiza la confiabilidad de las fuentes, permitiendo la construcción de modelos de datos valiosos.
4. Transacción de Negocio / Lógica de Negocio: Esta capa, derivada de las reglas del negocio, forma la esencia de nuestras transformaciones, permitiendo a los clientes finales crear sus preguntas de negocio a través de nuestro visualizador.
5. Dataset para Usuarios Finales (Opcional): Aquí realizamos transformaciones estéticas para que los usuarios internos puedan visualizar los datos de manera más comprensible (inglés a español).

Con dbt, hemos logrado cambiar no solo nuestra tecnología, sino también nuestra mentalidad, promoviendo una colaboración más eficiente y centrada en el valor en todo el equipo de datos. Nuestro viaje ha sido un testimonio de resiliencia y adaptación, y estamos emocionados por el futuro que estamos construyendo juntos.

Finalmente, incorporamos más herramientas tecnológicas clave necesarias para llevar a cabo un proceso de datos integral: Airbyte y Airflow, nuestros sistemas de orquestación y extracción. Estos flujos de datos llegan a dbt, donde iniciamos el proceso de pipelines, aplicando varias características que dbt nos proporciona.

1. Construcción de Modelos en Warehouse: Referenciamos nuestro almacén de datos Snowflake, aplicando documentación detallada a los modelos construidos. Incluso llevamos a cabo la documentación campo por campo, comprendiendo el significado de cada uno.
2. Aplicación de Pruebas (Tests): Aplicamos tests necesarios para garantizar la integridad de las tablas críticas para el negocio, asegurándonos de que no haya duplicidad de registros en estos datasets.
3. Modelos Incrementales: Creamos modelos incrementales para preservar el rendimiento de los procesos internos y del almacén de datos.
4. Modelos Efímeros: Creamos modelos efímeros para reutilizar en diversas tablas según sea necesario.
5. Seguimiento del Linaje de Datos: Identificamos la procedencia histórica de las tablas, así como los procesos, métricas, tableros y Google Sheets que impactan hacia adelante, abordando el tema del linaje.
6. Versionamiento del Código en GitHub: Versionamos nuestro código a través de GitHub, consolidando nuestras lógicas para cada dominio. Esto permite una arquitectura de datos más estable.
7. Automatización con GitHub Actions: Creamos una plataforma con GitHub Actions para la implementación de CI/CD. Esto garantiza que cualquier cambio implementado en cada commit o PR sea revisado y aprobado por un integrante del equipo. Las ejecuciones automáticas de validaciones, compilaciones de dbt y pruebas establecidas en el entorno de desarrollo se llevan a cabo antes de implementar el cambio en producción en menos de 5 minutos, para satisfacer rápidamente las necesidades del negocio o del cliente interno.
8. Optimización y Ahorro de Recursos: Logramos ahorros significativos migrando muchos procesos de extracción y transformación que antes se realizaban con Python y SQL a Airbyte con Airflow, optimizando así todo el poder de procesamiento y dejándolo en manos de dbt.
9. Implementación de Metabase como Visualizador Oficial: Introducimos Metabase como nuestro visualizador oficial, brindando una interfaz intuitiva y accesible para usuarios no técnicos. Esta iniciativa ha demostrado ser fundamental al permitir que aquellos sin conocimientos técnicos realicen visualizaciones con estilos simples y claros. La facilidad de interactuar con los insumos creados por nuestro equipo de datos se combina con la documentación detallada y el entendimiento del negocio de cada conjunto de datos.

La adopción de Metabase ha experimentado un notable crecimiento, impulsado por la capacidad de los usuarios no técnicos para realizar sus propias visualizaciones. Este enfoque descentralizado no solo empodera a los equipos en áreas como producto, operaciones y más, sino que también fomenta una cultura empresarial centrada en la toma de decisiones basada en datos. La calidad de los datos se garantiza a través de la documentación y el entendimiento profundo que cada usuario tiene sobre su contexto específico.

Un aspecto significativo es el aumento de la adopción entre los usuarios no técnicos, quienes aprecian la oportunidad de realizar sus propias visualizaciones y análisis descriptivos. Esta autonomía no solo satisface sus necesidades actuales, sino que también les brinda un crecimiento profesional en el mundo de los datos, contribuyendo al desarrollo de una cultura interna que valora y utiliza datos para la toma de decisiones informadas.

Enfoque Estratégico del Equipo de Datos: Hacia una Participación Integral en la Empresa

En nuestro empeño por transformar el equipo de datos, nuestro objetivo va más allá de simplemente gestionar flujos de trabajo eficientes. Nos esforzamos por convertirnos en un pilar esencial para la compañía, trascendiendo la resolución de requerimientos ad hoc y operativos. Buscamos ser un catalizador para la toma de decisiones estratégicas y fundamentales en la empresa, desafiando la narrativa tradicional del equipo de datos como un simple proveedor de información.

1. Decisiones Estratégicas: Participamos activamente en la toma de decisiones estratégicas de la compañía. Aportamos nuestra perspectiva única derivada de la profunda comprensión de los datos y su impacto en todos los aspectos del negocio.
2. Crecimiento Responsable: Guiamos el crecimiento del personal de manera financieramente responsable. Utilizamos datos para identificar áreas clave que requieren refuerzo, asegurando que el equipo crezca de manera efectiva y alineada con los objetivos de la compañía.
3. Impacto en el Negocio: Buscamos oportunidades para impactar positivamente el negocio. Analizamos datos de manera proactiva, identificando áreas de mejora y optimización que contribuyan al éxito general de la empresa.
4. Creación de Nuevas Líneas de Negocio: Exploramos oportunidades para la creación de nuevas líneas de negocio. Mediante análisis detallados, buscamos océanos azules inexplorados, identificando necesidades reales desde la perspectiva de los datos.

Este documento no solo destaca nuestro viaje desde la operatividad hasta la estrategia, sino que también presenta una visión intrigante de cómo la adopción de tecnologías puede revolucionar un equipo desmotivado en medio de crisis financieras. La historia que compartimos revela cómo, mediante una visión estratégica y el uso inteligente de herramientas tecnológicas, un equipo de datos puede no solo recuperar su vitalidad, sino también convertirse en un actor esencial en la toma de decisiones cruciales en una empresa de tecnología centrada en el sector de bienes raíces. Este relato es una invitación a reflexionar sobre el poder transformador de los datos y la tecnología en la configuración del futuro empresarial.