Como nossa estrutura do time de dados ajuda na otimização da jornada de compra dos consumidores
Conheça um pouco melhor sobre como cada time e perfil tem um papel crucial na entrega de valor do negócio.
A Escale é uma empresa que tem foco em otimizar a jornada de compra dos consumidores de ponta à ponta. Com base em muitas informações e dados, tornamos o processo de aquisição de serviços essenciais como banda larga, telefonia e plano de saúde, mais fácil e assertivo. Isso acontece tanto para produtos white label, como para marketplaces próprios como o Portal de Planos.
Temos mais de 18TB no nosso data lake e, diariamente, processamos mais de 92GB de dados em mais de 580 tabelas para as 3 principais verticais: Home Services, Financial Services e Insurance. Essa diversidade de informações, regras de negócio e necessidades demandou uma estrutura do time de dados e uma plataforma que permitisse a empresa escalar na velocidade que o negócio necessitava, provendo autonomia nas verticais, ao mesmo tempo garantindo governança e consistência no consumo dos dados.
Falando em plataforma, o time de…
Data Platform
é responsável pelo desenho e desenvolvimento da plataforma de dados. Esse time é composto por Pessoas de Engenharia de Dados que trabalham de forma centralizada para sustentar essa plataforma e evoluí-la continuamente. Mais detalhes sobre ela podem ser vistos neste e neste outro post.
Temos diversos portais e ferramentas que oferecem suporte a operação e as demais áreas da empresa. Como uma empresa Data Driven, os colaboradores e colaboradoras da empresa anseiam por dados fornecidos nesses contextos para tomarem melhores decisões. Para permitir um consumo dos dados em escala e de forma facilitada, esses dados passam por um processo de ingestão e são enviados ao nosso Data Lake. Dessa forma, a frente de…
Data Pipeline
trabalha junto ao time Data Platform para fazer a ingestão dos dados crus ao data lake através de pipelines de dados. Aqui, as pessoas de Engenharia de Data Pipelines também realizam alguns tratamentos para garantir consistência dos tipos dos dados e até para seguir premissas associadas a LGPD. Por fim, mas não menos importante, esse time ajuda a criar mecanismos que auxiliem no monitoramento dos pipelines e a garantir as boas práticas para todas as frentes de dados.
No entanto, os dados que são ingeridos até esse momento possuem, geralmente, uma granularidade muito pequena, o que dificulta o consumo. Além disso, muitas vezes é difícil entender como os dados devem ser cruzados para gerarmos informações relevantes e tomada de decisão, pois possuem regras de negócio envolvidas. Com isso, o time de…
Analytics Engineer
atua para entender o negócio e conversar com as áreas para que seja possível mapear os dados e criar modelagens que contemplem regras de negócio. Além disso, esse time cria pipelines e apoia nas discussões sobre regras de negócio para garantir a criação de KPI’s cross. A estrutura do time é em chapter com duas frentes principais: pessoas alocadas nas verticais e Data Conditions.
As pessoas alocadas nas verticais estão mais próximas ao negócio, então possuem maior facilidade para executar o trabalho, dado que trabalham dentro dos squads. Como temos 3 verticais que possuem naturezas bem diferentes, essa proximidade permite fazer um trabalho personalizado àquilo que é mais relevante para essa frente naquele momento e, ajudando a diminuir o time to market.
Já a frente de Data Conditions surgiu com o grande desafio de criarmos de forma mais rápida alguns datasets core para consumo de alguns dados críticos para a frente de Home Services. A ideia foi juntar esforços em uma squad com o envolvimento de um Data Product Manager, pessoas de dados e engenharia para em um curto espaço de tempo unificar regras de múltiplos parceiros que possuem modelos de negócios diferentes. Já foram geradas algumas versões iniciais desses datasets que estão permitindo consumirmos dados de forma mais fácil e com menores inconsistências em relação à regras de negócio.
É importante destacar que, como o time trabalha em formato distribuído e em frentes diferentes, temos cerimônias para garantir o alinhamento do que está sendo realizado e difusão de boas práticas de trabalho.
Com base nesses e em outros dados, pessoas das mais diversas áreas da Escale consomem dados diariamente para tomar decisões. A nossa estratégia é focar no self-service de dados, então temos ferramentas como o Looker que permitem que qualquer pessoa consiga realizar cruzamentos e criar dashboards com métricas e análises de dados para o negócio.
Como nem sempre é fácil entender todos os dados e muitas vezes necessitamos de análises com um deep diving, o time de…
Data Insights
trabalha em formato de chapter também e é formado por Data Analysts. Essas pessoas estão alocadas nas diferentes verticais bem próximas ao negócio, fornecendo dados e insights através de análises exploratórias, inferências e predições, fazendo com que a empresa tome cada vez mais decisões baseadas em dados. Assim como o time de Analytics Engineer, temos cerimônias para garantir consistência do trabalho entre as diferentes frentes.
Junto ao time de Data Insights temos uma frente de…
Data Science
que auxilia no desenvolvimento de produtos de dados, utilizando-se de análises preditivas e técnicas de machine learning. Nesse time temos Data Scientist que se aproxima dos times nas diferentes verticais entendendo estratégias de negócio para desenvolver, sugerir e melhorar produtos de dados que otimizem o desempenho da área.
Ufa… são muitas frentes e, principalmente, muita gente competente trabalhando junto para conseguir, no fim, fazer com que forneçamos a melhor infraestrutura, dados com melhor qualidade e insights incríveis para melhorar a jornada do consumidor no seu processo de compra.
Se interessou pelo trabalho que a Escale faz e por algum desses times? Estamos com muitas vagas para dados e outras áreas da empresa.
Obrigada Jonathan Vieira, Talita Correa Barcelos, Fernando Vinicius Menon, Gabriela Escobar Belo e Miller Carvalho pelos feedbacks
