Roadmap de Engenharia de Dados #01 — Aprendendo os Fundamentos

Um guia para dar os primeiros passos na carreira em Engenharia de Dados — Parte 1 de 5

Allan Sene
Dadosfera
3 min readSep 22, 2020

--

Fundamentando: Photo by Etienne Girardet on Unsplash

Este post faz parte de uma série baseada no Roadmap de Engenharia de Dados, construído por mim, Allan Sene, para ser seguido na DataSprints e inicialmente publicado no Data Hackers. Segue o link.

Motivação

O principal propósito do trabalho de um Engenheiro ou Engenheira de Dados é disponibilizar dados para análise da maneira mais simples, intuitiva e com maior qualidade possível. Tendo isso em mente, ele deve inicialmente dominar 3 fases do ciclo de vida dos dados:

  1. Dados em Repouso
  2. Dados em Trânsito
  3. Transformação de Dados

É por isso que em Fundamentos do nosso Roadmap de Engenharia de Dados sugerimos esses 3 conceitos:

  1. Bancos de Dados -> Dados em Repouso
  2. Linux (Ambiente de mais básico para trânsito) -> Dados em Trânsito
  3. Programação (Ferramental e ambiente) -> Transformação de Dados
Parte do Roadmap que focamos neste post

Tais conceitos são fundamentais para seguir em uma carreira sólida em engenharia, seja qual for sua especialidade futura.

Dicas de onde estudar

Programação

Programação é essencial para qualquer carreira relacionada a tecnologia, não só em #data. Entre SQL e Python, se puder, escolha os 2. Para iniciar, recomendo SQL, pois é de um paradigma mais simples. Python é de propósito bem geral e é fácil se perder nos caminhos, do tanto que essa linguagem te dá de força e flexibilidade.

Python:

SQL:

Bancos de Dados (Básico)

Não tem como trabalhar com dados e não entender o mínimo sobre como Databases funcionam. Aprenda os fundamentos e escolha 1 alternativa de um banco SQL (Transacionais). Se possível, escolha 1 alternativa de NoSQL. Recomendo o Mongo, pela facilidade de uso e quantidade de conteúdo free na internet.

Transações e Formas Normais:

Bancos SQL:

Mongo:

Linux

Linux é necessário para poder evoluir pra cloud e realmente trabalhar em grandes sistemas em produção. Não tenha medo da tela preta de um Terminal! Rapidinho você pega o básico e depois nunca mais vai querer largar, sério!

Completo!

Curtiu o post? Siga o Medium da DataSprints para acompanhar o restante da série! Também estamos sempre postando muito conteúdo em nossas redes:

Ah, e temos vagas! Quer ser colega dos melhores Data Engineers do país e aprender muito com nosso time? Só se increver aqui na nossa página de carreiras!

Comenta aí se você tem um curso bom pra recomendar cobrindo esses fundamentos. Recomende pra aquele seu amigo que tá buscando mudar de carreira. Abraços e até o próximo!

--

--

Allan Sene
Dadosfera

CTO | Lead Data Engineer | Co-Founder of Data Hackers and Dadosfera. Loves science, code and cats ^*^