Análise de Dados
O objetivo aqui é mostrar um passo a passo do dia-a-dia de um profissional que trabalha com Análise de dados, como as demais publicações aqui do blog, são publicações vivas que serão atualizadas e melhoradas constantemente (com a ajuda de todos).
Vamos lá… mas antes de começar, sugiro a leitura do artigo abaixo que comenta sobre algumas das soft skills necessárias para um bom analista de dados, entre elas estão:
- Pensamento crítico
- Resolução de Problemas
- Comunicação Efetiva
- Habilidade de Apresentação
- Networking e habilidade para trabalhar em equipe
- Inteligência Emocional e Empatia
- Aprendizado contínuo (Lifelong Learner)
Agora sim, vamos as hard skills…
O que é Análise de Dados?
A análise de dados é a arte de transformar dados em conhecimentos e insights relevantes. Ou seja, comparar ou agregar as informações brutas para entender o que os dados nos dizem.
Cultura Data-Driven
Todo analista de dados, alias, qualquer profissional de dados precisa ter esse conceito em mente!
Como “aplicar” Análise de Dados?
Agora que já sabemos um pouco mais sobre análise de dados e seus tipos, vou mostrar como aplico a Análise de Dados no meu dia-a-dia…
Organizo meu pensamento e projetos me baseando na metodologia CRISP-DM, e seguindo os passos que irei descrever abaixo:
Entendimento do Negócio
Aqui, além de entender o problema do cliente, sua real necessidade (sendo bem curioso, fazendo perguntas certas, se colocando no lugar do cliente), busco entender o negócio da empresa como um todo, como funciona o todo (Isso irá lhe ajudar demais). Documentação do entendimento do negócio.
Entendimento dos dados
Agora, é saber onde encontrar os dados que irá lhe apoiar na solução do problema. Aqui vai colher dados das mais diversas fontes de dados, migrações de dados, processos de ETL, dados agregados e etc… Documentação de onde encontrar os dados.
Preparação dos dados
Valores nulos, Campos vazios, Qualidade de Dados, Padronização de Dados, aqui cai muito bem a Análise Exploratória de Dados para entender os dados que tem para trabalhar. Documentação de todos os pontos padronizados, ajustados (no melhor dos cenários, que estes pontos sejam ajustados na origem).
Modelagem de dados
Aqui podemos seguir alguns caminhos, e vou citar alguns cenários possíveis:
- as vezes o cliente precisa apenas de uma base de dados contendo as informações que Ele precisa para Ele mesmo realizar suas análises e tirar seus insights (self-service). Aqui a entrega pode ser um script SQL.
- as vezes, a necessidade é por algo mais estruturado para análises (Business Intelligence), ou seja, um Data Warehouse. Aqui teríamos que montar ou adicionar tabelas ao DW já existente, o solicitado pelo cliente e Ele mesmo poder fazer as análises (self-service). Aqui a entrega pode ser um script SQL.
- Ainda em relação a Business Intelligence, as vezes, a necessidade é por um relatório ou dashboard específico (Visualização de Dados), onde a entrega é uma análise já pronta. Aqui podemos entregar um dashboard no Power BI por exemplo com o solicitado pelo cliente. Só lembrando, que na grande maioria das vezes, precisaremos criar ou melhorar as bases de dados, ou as tabelas no DW para atender a necessidade solicitada.
- em alguns casos, a necessidade pode ser apenas um entendimento de como a base de dados da empresa se encontra, como está a qualidade dos dados da empresa, o quão completa esta a base e etc. Aqui a entrega pode ser uma Análise Exploratória de Dados usando Python por exemplo.
- a necessidade pode ser algo mais preditivo, aqui envolveríamos machine learning, por exemplo. Aqui a entrega poderá ser um notebook Python ou R, ou ainda uma aplicação contendo o solicitado.
Avaliação / Validação
Aqui é a fase que enviamos o solicitado pelo cliente, para sua avaliação e para que os mesmos possam verificar se estamos no caminho correto para que possamos ou voltar no processo ou avançar para a próxima e última fase, a de deploy.
Colocar em produção (Entrega Final)
Aqui de uma forma bem simples e resumida, é a versão final. A versão que entregaremos ao cliente e Ele utilizará em suas análises, seja Ela de qualquer tipo.
Referências:
