Plataforma de dados na Bemol — Parte I
Para aqueles que não conhecem, a Bemol Digital é uma empresa de tecnologia da Amazônia e existimos para criar soluções inovadoras e de grande impacto social no coração da Amazônia.
A Bemol Digital faz parte da Bemol, fundada em 1942, considerada a queridinha de Manaus, quando se fala em Loja de Departamentos. Possui 24 lojas físicas (e crescendo), além de sua loja online, farmácias, 3 centros de distribuição e lotéricas.
Dados na Bemol
Com toda essa informação e história, a Bemol possui a maior base de dados do que chamamos de Amazônia Ocidental. São dados do cadastro de clientes, comportamento de compras (da pessoa e da sua família), dados de Wifi, crediário, cartão de crédito, além dos dados de comportamento online. É uma variedade bem grande de dados.
As bases de dados são variadas, com as principais fontes de dados sendo o SAP (mais detalhes sobre essa arquitetura, vamos falar no nosso próximo artigo) e Google Analytics..
Por outro lado, a empresa está sempre atrás de novas possibilidades, para atender melhor o seu cliente e alcançar ainda mais pessoas na região, que não tem acesso aos novos serviços. E para enxergar possibilidades, nada melhor que: dados!
A utilização de Dados na Bemol para tomada de decisão começou concentrada na área de Crédito, que eram conhecidos como os “caras que entendiam dos dados”, e que ajudaram muito na disseminação da utilização de dados para as demais áreas. Depois foi criado o XP Lab, e o pessoal desse time automatizou a extração e criação de relatórios (de forma local).
Esse passo que a Bemol deu é o mais comum dado pelas empresas, que é o dar visibilidade: faz o dado mais visível, mais fácil para executivos entenderem e tomarem decisões em cima deles.
Nesse meio do caminho, formamos um time de Inteligência Artificial, com o objetivo de automatizar a tomada de decisão na Bemol e auxiliar no entendimento do comportamento do nosso cliente.
Para ter uma forma eficiente e produtiva de ter acesso a esses dados, é necessário uma plataforma de dados. Essa não era a realidade da Bemol, pois cada time fazia (e ainda faz) a sua própria extração, tratamento e armazenamento de dados.
Time de Plataforma de Dados
Visando resolver esse problema, a área de Plataforma de Dados foi criada na Bemol Digital. Nossa missão é tornar fácil, confiável e seguro o acesso aos dados para as pessoas e computadores tomarem decisões.
O foco inicial definido foi melhorar a produtividade na utilização de dados na Bemol, ou seja, as pessoas acessarem os dados de forma independente, confiável, com a ferramenta da escolha delas. Vamos resolver isso, com a construção de uma Plataforma de dados, que carinhosamente chamamos de Mawé — que significa papagaio inteligente e curioso em Tupi.
O nosso time iniciou basicamente comigo tentando entender qual o problema que estamos tentando resolver, e atrás de pessoas na Bemol interessadas em se juntar a essa jornada. Após 2 meses — muito rápido — já tínhamos o corpo do time montado, uma arquitetura inicial em mente, e conhecimento sobre alguns problemas que poderíamos resolver.
Os próximos 3 meses foram de descoberta: entender as ferramentas disponíveis, fazer POCS, realizar mapeamento de necessidades de negócio, estudar plataformas de dados existentes, definir arquitetura inicial da Plataforma, e entender aonde queremos chegar com o produto para caminharmos para essa direção.
Agora estamos no momento de colocar tudo que descobrimos/desenhamos/projetamos em prática: automatizando os nossos processos, detalhando as necessidades dos usuários, finalizando a arquitetura base, e aprendendo constantemente com os erros que vamos cometendo no caminho.
Mawé está hospedada na Azure, mas ao contrário das maiores plataformas de dados hospedadas nessa nuvem (abaixo você pode encontrar um desenho resumido da nossa plataforma). Mais detalhes sobre essa arquitetura vamos falar no nosso próximo post.
O nosso objetivo é que Mawé seja uma plataforma Self Service. E quando falamos de Self Service, não estamos nos limitando apenas a fazer relatórios e transformações pequenas, mas o que queremos construir é uma plataforma Self Service end-to-end, onde os times de produtos, ao coletarem os dados, possam disponibilizar para os usuários de seus dados, em D-1, sem intervenção do time de Engenharia, e tudo isso, mantendo a qualidade e veracidade da informação.
Importante ressaltar que essa arquitetura foi construída para ser uma plataforma de Analytics, ou seja, para processar dados de D-1. Ainda estamos em estudos para a construção da plataforma de streaming, que é parte de uma iniciativa do time de Inteligência Artificial, da Bemol.
Fique antenado, logo menos, vamos publicar mais detalhes sobre a arquitetura da nossa plataforma, como estamos usando cada componente na nossa estrutura e detalhes sobre o que será o produto final.
We’re hiring!
Nosso time de dados está crescendo! Temos uma grande ambição para o futuro dos dados na Bemol, e por isso estamos montando um time ferra. Temos vagas para Engenharia de Dados, Analista de Dados, Especialista em Governança de Dados. Para saber mais, basta acessar:
