Como funciona a área de dados em Design, Produto e Engenharia do Grupo ZAP?
Conheça um pouco sobre quais são os papéis, estrutura e o dia-a-dia de quem trabalha com dados na área de Design, Produto e Engenharia do Grupo ZAP
O Grupo ZAP é uma holding fundada em 2017 como resultado da fusão dos maiores portais de imóveis do mercado brasileiro, Viva Real e ZAP Imóveis. Essa junção resultou em uma empresa bem diversa e que necessita de uma estrutura de times que suporte a geração cada vez maior de dados e de consumi-los em alta velocidade. Por isso, falando da área de Design, Produto e Engenharia (DPE) — responsável pelo desenvolvimento dos produtos da empresa, seguimos o paradigma de descentralização dos dados.
Mas o que é… paradigma de descentralização dos dados?
A DPE é estruturada em squads que são responsáveis por uma ou mais aplicações. Então, cada uma delas é responsável pela geração e manutenção dos dados dessas aplicações. Ficou confuso? Vamos de exemplo. Imagine que a squad de Vendas seja responsável pelas aplicações que geram os contratos da empresa. Identificamos que um campo com algumas informações numéricas poderia ser quebrado em mais de um campo… Nada melhor que o próprio squad para avaliar se isso faz sentido ou não, dado que as pessoas do time entendem as limitações e os motivos dos dados seguirem determinada estrutura, certo?
Os dados das aplicações ficam armazenados nas suas bases originais. No entanto, imagine o cenário da empresa inteira querendo calcular quantos contratos ativos temos? O ideal é que tenhamos uma infraestrutura que dê suporte a esse e outros requisitos. Aí vem a importância do time de Data Platform.
Data Platform
Para garantir que tenhamos uma infraestrutura que suporte as necessidades de armazenamento e consumo dos dados, o time de Data Platform estrutura, mantém e evolui constantemente a stack de dados. Essa stack de dados é baseada em tecnologias open source e pode ser melhor entendida nesse podcast do Data hackers. Essa infra dá suporte também ao envio dos dados (ingestão) para o data lake. E o data lake é acessado pelas pessoas que desejam realizar análises com os dados.
É importante lembrar que mesmo no data lake, os squads responsáveis pelas aplicações continuam sendo os responsáveis pelos dados. Se existirem problemas na ingestão dos dados, por exemplo, ocorre um trabalho em conjunto com Data Platform.
Bem legal entender um pouco da plataforma… mas quem mais consegue acessar esses dados?
Todo mundo!
É isso mesmo… todo mundo do Grupo ZAP consegue criar uma conta no Metabase, nossa ferramenta para consumo de dados. Todas as pessoas que possuem conta conseguem realizar consultas, gerar gráficos, análises e com isso tomar decisões baseadas em dados. Nesse cenário, são tomados os devidos cuidados à respeito da segurança dos dados.
Isso está bem relacionado a um dos nossos pilares que é o da democratização dos dados. Além disso, essas pessoas conseguem realizar testes de hipóteses e avaliar predictibilidade, de forma a antecipar e tratar problemas.
Essa forma de tomar decisões está bem alinhada com a forma com que o Grupo ZAP toma decisões. O fluxo decisório leva em consideração a opinião de todas as pessoas e, principalmente, evidências. Então precisamos ter sempre de forma bem clara quais problemas queremos resolver e coletar informações e dados que balizem qual caminho seguir.
No entanto, existem análises que necessitam de maior exploração dos dados e um entendimento mais profundo das suas regras de negócio. É aí que entra a equipe de analistas de dados.
Analistas de Dados
Com essa imensidão de dados, muitas vezes fica difícil entender como realizar os cruzamentos, com quem devo buscar informações, etc. Nesse passo, analistas de dados tem um papel fundamental de compreender as necessidades de quem consome dados e propor soluções seja através de: 1) indicação de quem poderá sanar essas dúvidas; 2) onde e como consultar esses dados; 3) disseminar o paradigma da descentralização dos dados e garantir a democratização das informações que estão armazenadas no data lake.
Além de fomentar a cultura orientada a dados na empresa, analistas realizam análises mais profundas através da exploração dos dados, validação de hipóteses e auxiliam na geração e manutenção de métricas e OKRs da empresa. Para isso são utilizadas ferramentas como, por exemplo, o JupyterLab, PySpark, LivySpark e o Airflow. No entanto, como quem cuida dos dados são os squads, analistas ficam distribuídos nos squads de forma a facilitar a comunicação.
As pessoas do time de analistas de dados também ficam organizadas em chapter — grupo de pessoas com a mesma área de competência. A organização em chapter é fundamental para facilitar a troca de conhecimento entre pares com as mesmas habilidades e promover mentoria para desenvolvimento profissional. Além disso, fomentam grupos de estudos que garante a constante evolução do conhecimento do time.
Durante essas análises, quando são identificadas oportunidades de melhorias no funcionamento dos produtos através do uso direto de algoritmos que trabalham com dados, entram em cena as pessoas do time de cientistas de dados.
Cientistas de Dados
Cientistas de Dados têm o papel de identificar e desenvolver produtos de dados para a empresa. Produtos de dados são aplicações que usufruem de análises preditivas e técnicas de machine learning para trazer insights e melhorias para os sistemas da empresa. Além disso, essas pessoas realizam engenharia de features com o intuito de se criar melhores modelos e definem métricas, projetam e executam experimentos para medir o desempenho de produtos de dados e comparar soluções alternativas.
Assim como analistas de dados, cientistas de dados também ficam alocados nas squads e trabalham como chapter para facilitar a troca do conhecimento entre as pessoas e desenvolvimento da disciplina na empresa. Analistas de dados e cientistas de dados ficam bem próximos aos Product Managers nos squads. Essa estratégia visa tornar ainda mais rápida a identificação de oportunidades de melhorias nos produtos e na aplicação mais rápida do conhecimento adquirido através das análises dos dados.
É isso e acabou?
Existem diversos desafios envolvidos nessa estrutura de times e estamos diariamente tentando identificar formas de tornar ainda mais eficiente a nossa forma de trabalhar. Por isso, nós temos reuniões frequentes da Guilda de Data visando identificar quais são as oportunidades de melhorias que temos cross-squads e o que podemos resolver juntos. A guilda envolve qualquer pessoa interessada em dados, tanto dentro da DPE como fora dela, em outros setores da empresa que consomem dados.
Então, se você achou bacana essa estrutura e tem interesse em trabalhar na empresa, dá uma olhada nas nossas vagas!
Agradecimentos: Fábio Jardim, Talita Correa Barcelos, Maria Eduarda Nubié, Patrícia Pampanelli, André Maldonado e Ana Hamud ❤️
