Roadmap de estudos em Engenharia de Dados
Um compilado de conteúdo gratuito para começar na área.
Desenvolvi este artigo como forma de compilar todas as skills e conteúdos que julguei interessantes de serem consumidas para se iniciar estudos na área de engenharia de dados. Todo conteúdo que está aqui foi formado de acordo com minha vivência nesta área e com ele viso me organizar, me desafiar e ajudar outras pessoas também.
No meu github é possível visualizar onde essa inciativa começou e acompanhar meu progresso nos estudos.
Mas antes de apresentar a lista, vamos contextualizar: o que faz um(a) Engenheiro(a) de Dados?
Este é o primeiro ponto importante que é preciso compreender.
Sendo esta uma posição essencial para qualquer equipe corporativa de análise de dados, um(a) Engenheiro(a) de Dados possui o compromisso de garantir que os dados da empresa estejam disponíveis para análise, de forma consistente e segura. Essa pessoa é responsável por coletar, transformar, armazenar e disponibilizar os dados.
Além disso, um(a) Engenheiro(a) de Dados reúne diversas habilidades técnicas, incluindo um profundo conhecimento do design do banco de dados SQL e de várias linguagens de programação, além de skills de comunicação para entender e reportar os insights extraídos do Big Data.
E se ainda restam dúvidas sobre as atribuições desta profissão, onde se encaixa no mercado e quais necessidades supre, antes de interagir com o restante deste artigo, recomendo assistir a esse vídeo do canal simpledata.
Algumas dicas antes de você embarcar nessa jornada de estudos
Recomendo dar um bizu no blog Start Data Engineering, lá tem várias postagens legais que podem te ajudar a aprender a criar projetos ou soluções de engenharia de dados. Outra dica é, caso você não entenda inglês, é possível usar a ferramenta de tradução do Google direto no Chrome e a opção de gerar legendas nos vídeos do youtube.
Uma ótima forma de colocar em prática o conteúdo aprendido é tentar criar pequenos projetos, pois acredite: existe um abismo entre a teoria e a prática, principalmente se tratando de dados. Aproveite para exercitar sua capacidade de lidar com vários cenários de erro e criar ações para contorná-los.
Skills e tecnologias necessárias para um(a) Engenheiro(a) de Dados:
Nesta seção estão listadas as skills essenciais para a formação em Engenharia de Dados. De modo geral, temos o básico:
E também habilidades mais específicas:
O conteúdo adicional serve de inspiração para se continuar estudando sempre
Agora que você já tem mais familiaridade com o universo da Engenharia de Dados, separei mais alguns materiais para aprofundar seus conhecimentos.
Artigos:
- DataOps is NOT Just DevOps for Data
- Data Warehousing: Basics of Relational Vs Star Schema Data Modeling
- Spark 101: Introdução ao framework de processamento de dados distribuídos
Cursos:
Essa parte não é gratuita, mas são baratinhos!
- Formação Engenheiro de Dados: Domine Big Data!
- Big Data — Processamento de dados com Spark e PySpark
- GCP: Complete Google Data Engineer and Cloud Architect Guide
- HashiCorp Certified: Terraform Associate 2020
Livros:
Assim como os cursos, esses livros são pagos, mas são ótimos.
- The Data Warehouse Toolkit: The Definitive Guide to Dimensional Modeling, por Ralph Kimball e Margy Ross
- Como Mentir com Estatística, por Darrell Huff
- Data Architecture: A Primer for the Data Scientist: Big Data, Data Warehouse and Data Vault, por William Inmon e Daniel Linstedt
Sempre podemos compartilhar aprendizado para evoluir com o coleguinha…
Portanto, você pode entrar em contato comigo se quiser trocar experiência, criar um projeto em conjunto ou até mesmo pedir uma mentoria! Fale comigo no twitter ou no linkedin.
. . .
Olá! Sou Morgana Sartor, engenheira de dados na Akross e graduada em engenharia de computação pela UFSC. Encontrei paixão na área de dados, onde iniciei carreira e sigo aprendizado e especialização.
. . .
A Mobicare e a Akross combinam os Melhores Talentos, Tecnologias de Ponta, Práticas Agile e DevOps com Capacidades Operacionais avançadas para ajudar Operadoras Telecom e grandes empresas a gerarem novas receitas e a melhorarem a experiência dos seus próprios clientes.
Se você gosta de inovar, trabalhar com tecnologia de ponta e está sempre buscando conhecimento, somos um match perfeito!
