APRENDA BIG DATA COM VÍDEOS RESUMIDOS

Aula 11 — Análise de Dados em Big Data

11 — CURSO RÁPIDO DE BIG DATA PARA EXECUTIVOS E PROFISSIONAIS DE MERCADO

ASSISTA AO VÍDEO DESTA AULA E EM SEGUIDA LEIA O TEXTO

ASSISTA AO VÍDEO E EM SEGUIDA LEIA O TEXTO

Aula 11. Análise de Dados em Big Data

Para obter insights sobre dados, é preciso aplicar métodos analíticos adequados ao seu tratamento, uma prática conhecida como “Ciência de Dados (Data Science).

Métodos Analíticos objetivam adivinhar o futuro, elaborar profecias, previsões, e isso chamamos d O termo “Analytics” ou “Data Analytics” tem sido amplamente utilizado, considerando que as empresas, realizam análise de dados em várias áreas, como financeira, marketing e de negócios em geral.

Business Intelligence realiza análise de dados, mas não inclui a modelagem preditiva. BI é considerado uma parte dentro de Data Science.

Business Analytics (Análise de Negócios), Data Analytics (Análise de Dados), Data Mining (Mineração de Dados), Text Analytics (Análise de Textos) e Predictive Analytics (Análise de Previsão ou Preditiva) são termos essencialmente inclusos dentro do campo de Ciência de Dados, utilizados para se referir ao ato de realizar “Análise de Dados”.

Como o termo “Data Science” é relativamente novo, surgiram outros para se referir ao ato de “Analytics”. Por exemplo, o termo “Big Data Analytics” faz referência ao uso dos métodos analíticos aplicados para grandes volumes de dados, no caso Big Data.

A Ciência de Dados está o centro de Big Data, preocupada com a análise de dados e a extração de conhecimentos a partir de insights, construindo modelos preditivos a partir de métodos analíticos. e “Predictive Analytics” (Análise Preditiva).

Seção 1 — Análise em Todos os Lugares

“Analytics”, por outro lado, estabelece o ato de realizar uma análise de dados, em vários níveis de profundidade, o que nos permite dizer que uma Análise de Dados pode ser extremamente complexa ou muito simples.

O uso de Analytics cresceu exponencialmente em todas as áreas incluindo saúde, governo, varejo, indústria e serviços.

O Gartner classifica “Analytics” em 4 níveis ou tipos: Descritiva, Diagnóstica, Preditiva e Prescritiva.

Modelo Analítico do Gartner (créditos Gartner)

A figura mostra que; à medida que a dificuldade da Análise aumenta, também aumentam os valores dos resultados para a empresa, ou o valor das análises corporativas.

As empresas podem realizar ou estar realizando os quatro níveis de análise ao mesmo tempo, em função do problema a ser resolvido, ou mesmo da necessidade de uma análise departamental ser mais profunda ou não.

Em cada etapa, temos as perguntas ou níveis, relativos a cada tipo de Análise (Descritiva, Diagnóstica, Preditiva, Prescritiva).

Etapas e Perguntas:

1-Descritiva: O que aconteceu?

2-Diagnóstica: Por que aconteceu?

3-Preditiva: O que vai acontecer?

4-Prescritiva: Faça acontecer.

No modelo Gartner, o dado é transformado em “informação”, gerando um “insight” que será aplicado aos negócios, a partir da otimização e da previsão da Análise de Dados que ocorre na última fase, a Prescritiva.

Desta forma, as empresas podem se valer da Análise em todas as fases, ou seja, podem passar a medir praticamente tudo, e não mais apenas os dados tradicionais, chamados de transacionais.

Os dados, relacionados a todos os aspectos do negócio, quando analisados, começam a contar uma nova história, que sendo interpretada de forma correta darão uma nova eficácia aos negócios.

Curiosidades

2. “Analytics Everywhere” ou AoE (Analytics of Everything) são termos que surgiram recentemente na “Indústria 4.0” para dar sentido à importância da Análise de Dados em todas as atividades humana, na era do Big Data.

3. As empresas que conseguem utilizar plenamente os seus dados obterão melhorias de 30% a 50% em sua eficiência.

4. Nunca houve um volume de dados tão grande e disponível para serem analisados pelas empresas, e as que souberem aproveitá-los serão os vencedores na nova economia dos dados (Data Economy).

Seção 2 — Análise Descritiva

O objetivo é entender questões básicas sobre o negócio a partir de um processo de observação, pesquisa exploratória, pesquisa descritiva e mesmo pesquisa causal da relação entre duas variáveis.

Uma Análise Descritiva é uma forma de vincular o mercado à empresa através de decisões, ou a melhor maneira de obter a informação necessária para tomar rapidamente alguma decisão de negócios.

Para realizar Análise Descritiva utilizamos dados armazenados no Data Warehouse da empresa, e ferramentas para gerar relatórios gerenciais, como o Excel, ou ferramentas específicas de BI (SAP, Oracle, Tableau), que acessam os Armazéns de Dados, para construir as suas próprias tabelas e gerar relatórios decisórios.

Curiosidades

2. Um tipo de pesquisa descritiva muito utilizada em MKT para responder questões de negócio, são os testes A/B, que buscam obter informações para responder questões de negócios.

3. Um produto interessante para Análise Descritiva é o Google Analytics da Google, para avaliar quantas visitas teve um site, quantos cliques nas palavras chaves, tempo médio de utilização do site pelos usuários, etc.

4. Perceba anteriormente no gráfico da Gartner, que a Análise Descritiva visa responder a pergunta “O que aconteceu?” que se encontra no primeiro nível da informação.

Seção 3 — Análise Diagnóstica

Consiste em reunir dados relevantes provocando insights e criando novas informações, como um novo campo por exemplo, gerado a partir dos dados iniciais, do tipo: Quanto tempo se passou desde a última compra?

As ferramentas de visualizações de dados, como Tableau, por exemplo, facilitam o trabalho nesta fase, pois são excelentes para a visualização de insights utilizando tabelas e gráficos bem desenhados, filtros, e técnicas de extração de dados.

A Análise Diagnóstica serve mais como uma investigação, respondendo “Porquê?” e “Como” um evento ocorreu?

Nesta etapa, recomenda-se que o Analista de Dados tenha um bom conhecimento de banco de dados (SQL) e ferramentas de visualização de dados como o Tableau por exemplo.

Curiosidades

2. Várias técnicas são utilizadas, entre elas a de descoberta dos dados através da mineração de dados, com um detalhamento mais profundo sobre um dado específico, e mesmo correlações entre variáveis.

3. O que se quer com a Análise Diagnóstica é procurar entender os comportamentos e as causas dos eventos.

4. Um exemplo de Análise Diagnóstica, seria o departamento de RH buscando encontrar o candidato certo para preencher um cargo, selecionado e comparado com outros candidatos em cargos semelhantes, avaliando comparativamente os desempenhos.

Seção 4 — Análise Preditiva

Aqui são empregadas técnicas de análise mais avançadas, como métodos e modelos estatísticos, algoritmos sofisticados de mineração de dados e Aprendizado de Máquina.

A bem da verdade, é nesta etapa, que começamos a pensar em Big Data, considerando que podemos aplicar estas técnicas para grandes volumes de dados, e tentar de certa forma “adivinhar o futuro”.

É aqui, que as empresas começam a se diferenciar, e onde começa a surgir a figura do Cientista de Dados, responsável por mudar a “data status” da empresa.

As habilidades das empresas em realizar Análises Preditivas podem aumentar consideravelmente a satisfação do cliente. Se você já utilizou o LinkedIn, vai perceber que a partir da análise dos perfis dos usuários, se consegue prever as suas habilidades profissionais, associando-os a um determinado cargo e futuro emprego.

Curiosidades

2. Fornecer probabilidade de inadimplência de crédito, pode ser o resultado de Análise Preditiva.

3. Prever o aumento da demanda de água numa determinada cidade ou região, pode ser o resultado de Análise Preditiva.

4. Prever o tempo, utilizando dados meteorológicos, pode ser o resultado de Análise Preditiva.

5. Prever devoluções de produtos, pode ser o resultado de Análise Preditiva.

6. Prever falhas de hardware ou de um veículo autônomo, pode ser o resultado de Análise Preditiva.

Seção 5 — Análise Prescritiva

Ela visa responder à pergunta “Como podemos fazer algo acontecer?”, indo além da Análise Preditiva, no sentido de relatar as prováveis consequências das escolhas.

Ela é uma análise completa, que combina as anteriores, e mostra o caminho a ser seguido na execução de uma estratégia de negócios, sendo caracterizada pelo uso das novas e recentes tecnologias de redes neurais, análises gráficas das redes sociais, motores de recomendação e aprendizado de máquina.

As soluções de Análise Prescritivas geram previsões e recomendações acionáveis, como os Sistemas de Recomendação da Netflix e Amazon (que utilizam em larga escala este tipo de Análise), onde as escolhas dos usuários, compras ou cliques de navegação, vão estabelecendo as possíveis recomendações de novos filmes ou produtos.

Análises Prescritivas ainda são relativamente complexas para serem implementadas, mas podem ter um grande impacto no processo decisório das empresas, que podem obter crescimento e agilidade em suas linhas de negócios.

Curiosidades

2. Detectar fraudes é um produto da Análise Prescritiva.

3. Minimizar custos operacionais, como tempo de viagem, desperdício de material, degradação de componentes, são produtos da Análise Prescritiva.

4. Predizer como uma nova estação de metrô, em uma determinada região poderia afetar o fluxo de passageiros, é um produto da Análise Prescritiva.

5. Gerenciar pacientes com câncer, em seguida relacionar estes pacientes com outros tipos de doenças, como diabetes, níveis de colesterol, idade, sexo, etc., podem gerar conhecimentos de onde concentrar o tratamento. Este é um produto da Análise Prescritiva.

Este curso foi elaborado a partir do livro “Big Data para Executivos e Profissionais de Mercado

Livro "Big Data para Executivos e Profissionais de Mercado"
Livro "Big Data para Executivos e Profissionais de Mercado"
Créditos Author

Imagem em destaque

Imagem em destaque — Aula 5 — Introdução à Ciência de Dados — Curso de Big Data para Executivos e Profissionais de Mercado
Imagem em destaque — Aula 5 — Introdução à Ciência de Dados — Curso de Big Data para Executivos e Profissionais de Mercado
Imagem em destaque do Curso de Big Data para Executivos e Profissionais de Mercado

XNEWDATA PORTUGAL

Big Data para Executivos e Profissionais de Mercado

Sign up for XBulletin

By XNEWDATA PORTUGAL

Assine a "Newsletter XBulletin" sobre Big Data Analytics, Data Science, e ML. Orientada para Executivos e Profissionais de Mercado. Entenda o impacto de Big Data em sua vida pessoal e Profissional.  Take a look.

By signing up, you will create a Medium account if you don’t already have one. Review our Privacy Policy for more information about our privacy practices.

Check your inbox
Medium sent you an email at to complete your subscription.

Jose Antonio Ribeiro Neto (Zezinho)

Written by

Luso-Brazilian. Author. Technology Writer. Big Data Researcher. USA WebCT IT Executive. Education Technology Director. Love soccer travel. http://bit.ly/2ODgIG9

XNEWDATA PORTUGAL

Big Data para Executivos e Profissionais de Mercado

Jose Antonio Ribeiro Neto (Zezinho)

Written by

Luso-Brazilian. Author. Technology Writer. Big Data Researcher. USA WebCT IT Executive. Education Technology Director. Love soccer travel. http://bit.ly/2ODgIG9

XNEWDATA PORTUGAL

Big Data para Executivos e Profissionais de Mercado

Medium is an open platform where 170 million readers come to find insightful and dynamic thinking. Here, expert and undiscovered voices alike dive into the heart of any topic and bring new ideas to the surface. Learn more

Follow the writers, publications, and topics that matter to you, and you’ll see them on your homepage and in your inbox. Explore

If you have a story to tell, knowledge to share, or a perspective to offer — welcome home. It’s easy and free to post your thinking on any topic. Write on Medium

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store