Modern Analytics Stack: Uma Abordagem Moderna de Analytics

O modern analytics stack, ou abordagem moderna de analytics, é um conceito que chegou para revolucionar e modernizar a infraestrutura de dados das empresas. Confira tudo o que você precisa saber sobre o assunto neste post.

Empresas de todos os portes já entendem o poder dos dados e reconhecem sua importância nos negócios. No entanto, à medida que mais dados são gerados, novos desafios quanto à organização, integração e gerenciamento de informações surgem.

Dessa forma, organizações que desejam manter-se competitivas precisam investir em uma infraestrutura de dados robusta, capaz gerenciar grandes volumes de informação. Isso pode ser feito com o modern analytics stack.

Modern Analytics Stack

A nova combinação de boas práticas e ferramentas para criação de infraestruturas de dados é conhecida como a Abordagem Moderna de Analytics, do inglês Modern Analytics Stack (MAS).

Uma de suas características mais marcantes é a junção de diversas de ferramentas open-source para responder às demandas de uma infraestrutura de dados complexa, de forma altamente eficiente.

O que isso quer dizer na prática?

Com um modern analytics stack, é possível combinar ferramentas que executam funções distintas como integrar, armazenar ou visualizar dados, para montar uma estrutura de dados moderna, mutável e muito mais independente.

Por exemplo, considere uma empresa que aumentou drasticamente sua base de clientes e necessita expandir sua solução de armazenamento de dados.

Caso ela utilize a abordagem moderna de analytics, terá duas opções: poderá simplesmente adequar sua solução atual às novas demandas ou ainda substituí-la por outra ferramenta que atenda às suas necessidades, sem precisar reformular sua infraestrutura de dados por completo.

Ou seja, com o MAS, as organizações têm mais flexibilidade para fazer ajustes pontuais, reinventar sua estrutura sem precisar transformá-la por completo. O resultado? Menos custos, mais escalabilidade e autonomia.

Hoje, graças às novas tecnologias e ferramentas acessíveis, ficou muito mais fácil de adotar a abordagem moderna de analytics.

No entanto, para obter sucesso na implementação dessas práticas, é necessário entender como todas as peças do MAS se encaixam.

Construindo o Modern Analytics Stack

Uma estrutura de dados eficiente combina diversos serviços em um data stack, uma pilha de dados.

No geral, uma pilha de dados tem três funções fundamentais: coletar e integrar dados em um data warehouse, limpá-los e transformá-los em informações para agregar valor à tomada de decisão através de visualizações, dashboards de BI etc.

Todas estas funções são processos do pipeline de dados.

Assim, as ferramentas usadas para cada um desses processos formam o analytics stack. Ainda que a arquitetura de um pipeline varie de acordo com as empresas, todos têm esses processos incorporados.

Por isso, selecionamos as principais ferramentas disponíveis no mercado, utilizadas com sucesso em milhares de projetos de todos os portes no Brasil e Exterior.

1- Coleta e Integração de Dados

A disponibilização de dados de diversas fontes isoladas para análise é um dos principais desafios de qualquer projeto de dados. Para isso é preciso investir na coleta e integração dos dados.

Atualmente, ferramentas como o Fivetran e Stitchdata são as líderes na integração de dados na nuvem. Elas permitem “mover” dados de centenas de fontes como ERPs, CRMs, bancos de dados, REST APIs etc. diretamente para um Data Warehouse (na nuvem ou on-premises).

Com isso, ao contrário de ferramentas tradicionais enterprise, não há necessidade de grandes investimentos em licenças de software ou horas de implementação.

Além disso, empresas que buscam coletar dados com maior precisão online e offline também podem utilizar Segment ou Snowplow para ter uma visão completa de seus clientes.

2- Data Warehousing

Outra etapa fundamental da abordagem moderna de analytics é a transformação dos dados brutos em dados modelados, dentro de um Data Warehouse.

Ao centralizar as transformações dos dados dentro do DW, há enormes ganhos de eficiência no projeto, especialmente através de abordagem ELT, a qual aumenta a flexibilidade no pipeline e garante autonomia aos analistas de negócio para definir as regras do negócio no DW, acelerando o projeto em meses.

No que tange ao Data Warehouse, as duas principais ferramentas do modern analytics stack usadas para a transformação de dados são o DBT e o Dataform.

Além disso, outra inovação recente essencial nessa abordagem são os DW na nuvem como o Amazon Redshift e Google Big Query que permitem armazenar e consultar volumes enormes de dados de forma rápida, através de sua arquitetura escalável.

3- Business Intelligence

Inteligência analítica é prioridade no modern analytics stack.

Independentemente do objetivo da empresa, com a infraestrutura de dados moderna estabelecida, é possível utilizar diferentes ferramentas de Business Intelligence para visualizar, analisar e gerar insights a partir dos dados.

Para tanto, há diversas alternativas open-source robustas como o Metabase bem como plataformas SaaS como o Microsoft PowerBI, Looker, Tableau entre outros.

Vale destacar que o essencial para a abordagem moderna é que o BI não tenha um fim em si mesmo, mas consiga gerar valor rapidamente para a empresa.

4- Machine Learning

Uma infraestrutura de dados moderna facilita o processo de descobrimento de dados e a utilização de técnicas avançadas de Analytics como Machine Learning e Inteligência Artificial.

Além das diversas bibliotecas nas linguagens R e Python utilizadas nas empresas mais avançadas, ferramentas como MlFlow e Kedro otimizam o processo de modelagem e reduzem o tempo entre modelagem e utilização, o calcanhar de aquiles de qualquer projeto de Analytics avançado.

5- Deploy

Um dos grandes desafios experimentado pelas empresas que adotam o modern analytics stack é fazer com que todas as “peças do lego” conversem de forma harmônica entre si, garantindo que os dados fluam em sintonia ao longo da estrutura de dados.

Para que isso aconteça, ferramentas como Docker e Kubernetes são muito utilizadas para o deploy juntamente com orquestradores como o Airflow e Prefect.

Modern Analytics Stack para todos

O data analytics stack é a ligação entre dados brutos com a inteligência de negócios, ou seja, é um sistema integrado de aplicativos que coleta, combina, analisa e realiza o valor dos dados para empresas.

Introduzir um data analytics stack é fundamental para empresas modernas que desejam obter sucesso na era dos dados.

Felizmente, os componentes do data stack estão muito mais baratos, simples de configurar e manusear. Assim, empresas de todos os portes podem utilizá-lo para obter vantagem competitiva e desenvolver maturidade analítica.