Uma breve história sobre o uso de dados no Grupo Boticário
Quando olhamos para a evolução dos times de dados no Grupo Boticário, podemos pensar que a empresa sempre foi digital, mas isso não é verdade. Aqui, vamos contar um pouco da história dessa evolução e dos porquês que justificaram algumas tomadas de decisão na estratégia de dados. Qualquer relação com o histórico nas suas empresas não é mera coincidência!
O primeiro movimento do Grupo Boticário para a estruturação de um data warehouse foi feito em meados de 2006, em conjunto com a implantação do ERP SAP/R3 (atual ECC). Na oportunidade, implementamos o SAP BW (versão 3x) on premisses, versão da solução de BI da SAP que trouxe o primeiro conceito de centralização e organização dos dados para o processamento e consumo analítico.
A arquitetura dessa solução, se baseava em modelos de Operational Data Stores (ODSs) e cubos (modelo Star Schema Estendido), que demandavam um grande esforço com relação a modelagem de agregados, replicação de estruturas e balanceamento de dimensões, sempre visando uma performance adequada para o consumo desses dados. Os agregados (organizados em Data Marts) necessitavam ser atualizados no pós processamento dos dados mestres e transacionais (change run e roll up), processo que demora várias horas até que o dado fique disponível para consumo.
A aplicação do BW não tinha apenas um contexto analítico, pois essa plataforma habilitava algumas funções de planejamento (BPS — Business Planning and Simulation), que permitia a edição de dados nos cubos do BW. Esse tipo de solução gerava grande concorrência entre o transacional e o consumo para fins de análise e reporting, sempre incorrendo em problemas de performance. A interface de consumo era primariamente web, permitindo interações simples, como a aplicação de filtros e trocas de dimensões, previamente configuradas no relatório.
Um segundo grande movimento, realizado em 2013, foi a migração para o SAP BW on HANA. O SAP HANA trouxe vários benefícios, uma vez que a plataforma se baseia em um database colunar e in memory, trazendo um conceito de processamento real time, eliminando a necessidade de criações prévias de agregações e permitindo o processamento de cálculos complexos (analytics e calculation views) de forma relativamente simples.
A implementação do HANA também habilitou a utilização de modelagens cross schema. Os schemas são “databases” dentro do banco de dados do Hana e o BW padrão trabalhava somente com seu schema padrão. Não conseguíamos, por exemplo, trabalhar com um contexto fora dos módulos da SAP.
Com o alto poder de processamento e consolidação, o SAP HANA também habilitou o consumo near real time de informações transacionais. O primeiro contexto de dados que trabalhamos foi o de vendas loja. Imagine que, após a conclusão de uma compra no PDV (ponto de venda), poucos segundos depois o dado fica disponível para consumo em seu relatório de performance de vendas. Esse dinamismo e agilidade mudou todo o conceito do BI d-1 (processamento em batch durante a janela noturna) para um modelo praticamente instantâneo e muito mais simples. Esse modelo, aparentemente ótimo, trazia uma limitação: a estrutura on premisses não era tão escalável quanto a necessidade e crescimento do grupo. Conforme mais dados eram disponibilizados, maior consumo era realizado pelos analistas, cientistas e usuários em geral. Um ótimo problema que precisaríamos resolver, visando uma organização cada vez mais orientada a dados.
E o que fazer para entregar disponibilidade, dados confiáveis, performance e todo o conteúdo pertinente para as análises/estudos realizados no GB?
Uma alternativa que trabalhamos foi a criação de ambientes sandbox, nos quais havia a disponibilização de dados analíticos para consumo sem o impacto direto ao ambiente produtivo (HANA PRD). Seguindo essa estratégia, criamos o ambiente de HANA Labs (gentilmente chamado de Labs, pois tinha uma proposta inicial de experimentação, testes de versões, novas funções etc.). O ambiente Labs trouxe flexibilidade e maior liberdade para a criação de modelagens e integrações, uma vez que sua chancela de labs não remetia a uma governança mais restrita, pois se tratava de um ambiente de experimentação. Essa facilidade em alterar modelos, criar contextos e ajustar modelagens, trouxe um outro viés: o Labs perdeu sua característica de ambiente de experimentação e começou a ter processos produtivos vinculados a ele.
Novamente, voltamos ao ponto de termos processos analíticos impactando em processos negociais produtivos!
Uma segunda tratativa foi a criação de ambiente analítico dedicado, com um nível adequado de governança e que mantivesse toda a flexibilidade e liberdade para a manipulação das bases analíticas. O Analytical Database (ADB) implementou isso, trazendo modelos de segmentação e permissionamento, trabalhando com camadas de dados e gestão mais estruturada do ambiente.
→ De Business Analytics para Data Science no Grupo Boticário
O ADB nos permitiu ter maior maturidade com relação a gestão e governança sobre uma base analítica, possibilitando que as áreas pudessem aplicar modelos de análise, avaliações mais complexas e processamentos de uma forma mais autônoma. A arquitetura dessa solução também foi concebida em um modelo on premisses, ainda remetendo à questão de escalabilidade e disponibilidade.
Um terceiro movimento, atualmente em implementação, foi a criação do datalake house no GCP (Google Cloud Plataform), trazendo flexibilidade, escalabilidade e uma maior eficiência com relação a custos. Essa terceira onda endereça todos os pontos de dores e aprendizados que tivemos com os modelos anteriores, entregando agilidade, confiabilidade e flexibilidade dentro uma plataforma segura e mais eficiente.
→ Fazendo beleza com dados em nuvem: a acelerada jornada de dados do Grupo Boticário
É importante ressaltar que o modelo está em constante evolução, se adaptando sempre à necessidade que o Grupo Boticário tem, em todos seus níveis de maturidade. De fato, uma jornada evolutiva que levará nosso Grupo a ser o maior e melhor ecossistema de beleza do mundo!
Curtiu o texto? Quer ajudar na construção dos próximos capítulos dessa história? Então se liga nas nossas vagas!
