Como a Hotmart democratizou dados em 2020
Desafios e aprendizados ao aplicar nossa iniciativa de Data Democratization em 2020
Post criado em colaboração entre Pollyanna Gonçalves e Paulo Vasconcellos
Sabe o que acontece quando seu CEO faz uma simples pergunta de negócio para três pessoas e recebe três respostas diferentes? Bom, nós sabemos, porque isso aconteceu na Hotmart e nos fez perceber algo: tínhamos um problema de dados.
É importante começar esse post com um disclaimer: A Hotmart NÃO nasceu já democratizando dados! Embora sempre fomos uma empresa data-driven, nunca o termo Data Democratization havia se tornado comum, ou alguma ideia semelhante a ele. No início, era comum ver nossos fundadores, lideranças, desenvolvedores e analistas fazendo consultas direto nos bancos de dados para extrair um relatório. E arrisco dizer que essa dinâmica funcionava muito bem.
Mas, o que mudou de lá pra cá e por que esse modelo de tomada de decisão não é escalável dentro de uma organização que cresce exponencialmente?
Escalando decisões
Dificilmente uma startup já nasce pensando em uma arquitetura de microsserviços. Geralmente o que acontece é a criação de um banco de dados único, monolítico, onde toda a aplicação do seu negócio está ali armazenada. E não há nada de errado nisso. Quando se está começando, uma startup está mais preocupada em sobreviver do que dormir sabendo que atendeu as boas práticas de software. Isso funcionou bem pra Hotmart, até que começamos a crescer.
Os microsserviços chegaram, cada um deles desapegando do monolito e criando seu próprio banco de dados. Muitos dos novos produtos da Hotmart não utilizavam a mesma tecnologia e, muitas vezes, não precisavam se comunicar entre si. Hoje temos mais de 30 bancos de dados diferentes, que vão desde MySQL e MongoDB a Redshift e Firebase, além do Datahub, nossa plataforma de dados. Nosso trabalho, como um time de dados, era integrar essas diferentes fontes em um lugar comum onde poderemos cruzar informações e ter análises mais poderosas.
Somado a isso, o número de Troopers cresceu mais de 500% desde a nossa fundação e em 2020 viramos a Hotmart Company, que agrupa as empresas Teachable, KlickPages e Wollo sob seu guarda-chuva, além da própria Hotmart. A necessidade de democratizar dados nunca foi tão importante quanto agora.
Entra a Democratização de Dados
Em 2016 o primeiro passo foi dado: a criação de um time de dados, que hoje é uma diretoria com mais de 50 Troopers (nome dado aos colaboradores da Hotmart), que cria soluções de infraestrutura e engenharia de dados, produtos para acesso e visualização, e gerando estudos de dados para toda a empresa. Você pode conhecer um pouco melhor aqui o que fazemos no time de data science, mas uma das principais frentes da equipe é promover a Democratização de Dados, que nas palavras de Bernard Marr, tem como objetivo permitir “… que qualquer um possa ter acesso aos dados a qualquer momento para tomada de decisão sem barreiras de acesso ou entendimento.”
Muito trabalho foi feito nos anos anteriores para criarmos e promovermos ferramentas para acesso aos dados, como o Astrobox, nossa ferramenta interna de BI self-service, ou o Power BI, onde nós, inclusive, criamos bibliotecas e conectores para as pessoas não-técnicas poderem usufruir da ferramenta. Mas, nosso último ano foi especial no que diz respeito a “Alfabetização de Dados”, do inglês Data Literacy, onde nós lançamos o Hotmart Data Training.
Hotmart Data Training
O Data Training é um treinamento disponível para qualquer Trooper na Hotmart, independente de posição ou time, seja ele técnico ou não. Seu objetivo é alavancar a tomada de decisão dos nossos Troopers, oferecendo autonomia, ferramentas e a educação necessária. As aulas foram ministradas ao vivo ao longo de 2020, mas também disponibilizadas no Hotmart Club, nossa ferramenta de área de membros, onde qualquer pessoa pode assistir e reassistir no futuro.
Todo o treinamento é feito e ministrado por Troopers (Analistas e Cientistas de Dados, Engenheiros de Dados, Analistas de Negócio) e o conteúdo é alinhado e atualizado de acordo com as necessidades dos times da Hotmart. Em 2020, foram mais de 20 horas de conteúdo compartilhado, mais de 95 Troopers envolvidos e mais de 7 times participando.
Nossa grade de treinamentos foi montada de acordo com as necessidades identificadas nos times da Hotmart. Com o Data Training, nossos Troopers tem a chance de desenvolver habilidades de:
- Extração de dados via SQL.
- Mapeamento e envio de eventos para o Datahub, nossa solução de data lake
- Uso de ferramentas internas e externas de data delivery (ex.: Power BI)
- Estatística descritiva, validação de hipóteses, análise probabilística, correlação e testes A/B
- Análise de dados (análise de viés, amostragem, …)
- Visualização de dados
- Excel e Google Sheets para análise de dados
- Google Analytics & Google Tag Manager
Próximos passos (spoiler: estamos contratando!)
Chegamos ao fim de 2020 com um piloto entregue do Data Training, todo o conteúdo disponibilizado internamente em nossa área de membros e novas ideias de evolução do treinamento para 2021. O NPS dos participantes foi de 92 e o treinamento já está sendo utilizado como parte do onboarding de novos Troopers em diversas áreas!
Dentre as evoluções para 2021, estão treinamentos mais avançados em determinados assuntos e a adaptação para outros idiomas. Possuímos Troopers em nossos escritórios na Colômbia, México, Espanha, Holanda e outros países, e todos poderiam se beneficiar com esse conteúdo.
Lembra que os pilares da democratização não incluem apenas Data Literacy, mas também Data Access e Data Tools? Em 2021 continuaremos a evoluí-los também. Times como engenharia e governança de dados criarão novas fontes como data marts para facilitar o acesso e coleta dos dados. Da mesma forma, outras equipes da diretoria ficarão responsáveis por evoluir e criar novas ferramentas de dados, que vão desde o já falado Astrobox, até a criação de nosso catálogo de dados.
Estamos contratando!
Para lidar com esses e outros desafios, a Hotmart está sempre em busca de pessoas incríveis para nos ajudar a chegar ao próximo nível. Se desafios como os desse post interessam a você, não deixe de conferir as vagas abertas para nosso time clicando aqui.
