Como se tornar um Microsoft Certified: Azure Data Engineer Associate
Atualização: Como se tornar um Microsoft Certified: Azure Data Engineer Associate — V2 | by Sidney Cirqueira | May, 2021 | Medium
PessoALL, recentemente alcancei o título de Microsoft Certified: Azure Data Engineer Associate, algumas pessoas têm me perguntado como funciona e como me preparei para os dois exames que compõe essa certificação. Então resolvi criar esse post para compartilhar algumas dicas de materiais para estudo e como foi minha jornada em busca desse objetivo pessoal e profissional.
Há 5 anos trabalho como DBA SQL Server e nos últimos 2 anos percebi minha carreira naturalmente “pivoteando” para Engenharia de Dados, tradução do termo em inglês Data Engineer, que iremos utilizar ao longo desse post.
Tenho o privilégio de trabalhar a 1 ano focado na plataforma de dados do Azure em uma grande companhia do ramo de seguros no Brasil, que hoje possui o core de sua infraestrutura tecnológica 100% em ambiente cloud, o que facilitou bastante nessa mudança de direcionamento e também me motivou a buscar uma forma de validar meus conhecimentos e ser reconhecido oficialmente pela Microsoft através da certificação.
Mas o que um Data Engineer faz?
Geralmente profissionais que trabalham com SQL Server estão acostumados a lidar com sistemas de bancos de dados relacionais.
Data Engineers trabalham com dados estruturados e não estruturados e com uma variedade de formatos de arquivos (JSON, CSV, Txt, Parquet, ORC e Avro) e origens, como por exemplo: dados em streaming.
Suas principais responsabilidades também englobam o provisionamento inicial do ambiente, gerenciamento, monitoramento e segurança do fluxo das informações, desde a ingestão dos dados, armazenamento, carga, transformação, analise, até a camada de visualização para consumo final e tomada de decisão por parte do negócio.
Na plataforma de dados do Microsoft Azure estão disponíveis uma infinidade de serviços e ferramentas (Azure Databricks, CosmosDB, Azure Event Hubs, Azure Stream Analytics, Azure SQL Data Warehouse, Azure DataFactory, Azure Data Lake Storage, e etc) que aceleram a entrega de soluções mais robustas e escaláveis, suas funcionalidades deverão ser muito bem conhecidas e aplicadas corretamente por um data engineer em cada step de um pipeline completo de big data.
Além disso, esses serviços podem ser facilmente integrados de forma transparente com outras tecnologias como Azure DevOps, Cognitive Services, Azure Search e Bots.
Microsoft Certified: Azure Data Engineer Associate
Essa certificação faz parte da nova trilha de provas da Microsoft baseada em carreiras. Caso queira saber um pouco mais sobre as mudanças nas certificações da Microsoft em 2019, acesse esse link que tem um post recente bem bacana detalhando tudo.
Ela se enquadra na categoria de Data & AI, que é composta por 3 grandes áreas:
Em todas as trilhas de App & Infra | Data & AI a Microsoft sugere que você tenha como pré-requisito opcional a certificação Microsoft Certified: Azure Fundamentals, conforme podemos observar na imagem abaixo.
E foi por aí que minha jornada começou…
Resolvi primeiramente me preparar para essa prova, onde o objetivo era solidificar meus conhecimentos básicos em Azure e rever alguns conceitos que seriam importantes para a trilha de dados que eu gostaria de seguir.
Para obter a certificação Azure Fundamentals é necessário ser aprovado no exame AZ-900, desenhado para candidatos que desejam demonstrar o conhecimento básico em conceitos de cloud, principais serviços, segurança, privacidade, compliance, preço e suporte no Azure.
Existem diversos materiais pagos e gratuitos para se preparar para esse exame: Curso oficial, simulado, livro e a plataforma de treinamentos Microsoft Learn.
“O que na minha humilde opinião, a Microsoft acertou nesse modelo de treinamentos online totalmente gratuitos, conteúdo teórico e com exercícios práticos em ambiente simulado”.
Segue listagem abaixo dos recursos disponíveis para estudo:
Microsoft Learn: Azure Fundamentals Learning Path (Gratuito);
Curso Oficial: Disponibilizado por dois centros de treinamento no Brasil, Green Tecnologia | Ka Solution (Pago);
Livro Oficial: Exam Ref AZ-900 Microsoft Azure Fundamentals (Pago);
Teste Pratico Oficial: Microsoft Azure Fundamentals Microsoft Official Practice Test (Pago);
Documentação: https://docs.microsoft.com/en-us/azure/ (Gratuito);
Do material citado acima, consegui passar nesse exame estudando apenas pelo Microsoft Learn, recomendo fortemente o conteúdo do Azure Fundamentals Learn Path, está bem claro e retrata todos os requisitos abordados na AZ-900.
Após concluir essa primeira etapa, já iniciei a busca por materiais de estudo para os dois exames necessários para obter o título de Azure Data Engineer.
Candidatos que desejam ser aprovados nesse exame devem ser capazes de implementar soluções de dados que incluam provisionamento de serviços de armazenamento, ingestão de dados em streaming e batch, transformação, implementação de politicas de retenção e segurança, também identificar e otimizar problemas de performance e acessos externos utilizando os serviços disponíveis no Azure.
Infelizmente ainda não existem cursos oficiais no Brasil, exames práticos e/ou livros disponíveis. Então concentrei todo esforço nos seguintes materiais:
Microsoft Learn: Data Engineer Learning Path (Gratuito)
OpenEdx: DP-200.1Implementing an Azure Data Solution (Gratuito)
Esse treinamento do openedx não está disponível no momento, ele é aberto em apenas datas específicas, dei sorte de ter pego a data certa. Entrei em contato com a Microsoft no fórum e obtive a resposta de que eles ainda não tem previsão de abertura do próximo curso, sugeriram verificar frequentemente no link do treinamento por alguma atualização.
Labs Github: DP-200-Implementing-an-Azure-Data-Solution (Gratuito)
Curso Azure Databricks: Data Science no Azure Databricks (Pago)
Treinamento do nosso amigo Luan.Moreno que aborda 2 trilhas, de Data Science e Data Engineer utilizando Databricks, conteúdo técnico de alta qualidade que me ajudou a entender melhor os conceitos internos da ferramenta. Maiores informações sobre o próximo treinamento deverão ser consultadas com o próprio Luan Moreno.
Microsoft Academy: Microsoft Professional Program for Big Data (Pago pelo certificado de cada módulo, porém toda trilha pode ser feita sem nenhum custo.)
Documentação técnica dos requisitos abordados na prova:
Provisionamento e implementação de armazenamento de dados
- Azure SQL Database
- Azure SQL Data Warehouse
- Azure CosmosDB
- Azure Data Lake Storage Gen2
- Azure Blob Storage
Ingestão de dados em Streaming e Batch
Monitoramento e otimização
- Todos os serviços citados acima
- Azure Monitor
- Azure Log Analytics
Pouco antes de fazer a prova foquei no Microsoft Learn na trilha de data engineer. Abordou perfeitamente todas as habilidades medidas na prova. Só achei pouco o conteúdo sobre datafactory, então estudei o curso do openedx e a documentação técnica. O material de Azure Databricks que é um produto bem recente lançado como serviço no Azure está excelente, vale muito a pena o estudo, a parte ruim é que não existe ambiente simulado para hands-on no learn. O que pode ser contornado utilizando contas gratuitas para estudantes e desenvolvedores no Azure ou a plataforma Databricks Community.
A bastante tempo venho me preparando para esse exame, cheguei a estudar todo material informado acima. O que me ajudou muito a obter êxito e passar nessa prova.
Se a Microsoft está falando isso quem sou eu pra discordar. (rs)
Próximo e ultimo step…
2. Exam DP-201: Designing an Azure Data Solution
Este exame mede as habilidades técnicas de um data engineer em desenhar soluções de armazenamento, processamento de dados em batch e streaming, além do desenho de soluções de segurança e compliance.
Essa prova é bem voltada pra arquitetura de dados, além de ter estudado todo o conteúdo para DP-200, revisei bastantes algumas documentações para entender melhor a proposta da microsoft sobre o desenho das soluções no Azure.
Microsoft Learn: Data Engineer Learning Path (Gratuito)
Documentação: Azure solution architectures (Gratuito)
Arquitetura de Big Data: Components, Lambda & Kappa architecture (Gratuito)
Marquei minha prova 2 semanas após ter passado na DP-200, tirei uma semana pra descansar um pouco a cabeça, porque ninguém é de ferro, na semana seguinte revisei alguns conceitos sobre arquitetura nos materiais citados acima e felizmente obtive exito nesse 2º exame, recebendo o título de Microsoft Certified: Azure Data Engineer Associate.
Foi uma jornada muito árdua porém gratificante, o conhecimento adquirido com os estudos e casos do dia a dia foi impressionante, a curva de aprendizado em busca desse objetivo pessoal e profissional foi incrível.
Minha intenção nesse post não foi detalhar as questões ou cenários abordados nessas provas, e sim compartilhar um material muito rico que aborda todos os tópicos cobertos nas provas. Acho que vale muito a pena a experiência teórica e pratica de cada data engineer na preparação para essas certificações.
Espero sinceramente ter auxiliado e motivado outros profissionais que estejam em busca de conteúdo para se direcionar nessa carreira tão promissora.
Tenho percebido o mercado de trabalho bem aquecido em busca de mão de obra qualificada em cloud computing. A certificação é uma das varias maneiras de validar o conhecimento e experiência em tecnologias específicas de diversas áreas da computação.
Obrigado a todos que me ajudaram ao longo dessa jornada, estarei disponível em minhas redes sociais para perguntas e bate papo sobre engenharia de dados no Azure.
Nos vemos nos eventos de plataforma de dados pelo Brasil a fora.
#microsoft #azure #dataengineer #dba #sqlserver #sqlfamily #gotospace
