Minhas Impressões do AWS Lake Formation

Alexandre Lopes
Sep 12 · 4 min read

Serviço da Amazon que promete facilitar a vida do engenheiro de dados para criar um data lake

Image for post
Image for post
Indian Arm — Photo By: Alexandre Lopes

Visão Geral

De acordo com a Amazon, AWS Lake Formation é um serviço que torna mais simples de se configurar um data lake seguro em dias, de fato este serviço lançado em 2018 pela Amazon tornou a vida do engenheiros de dados muito mais simples, neste artigo irei dar uma visão geral sobre o AWS Lake formation e compartilhar minhas experiências usando esta ferramenta.

Qual o Problema Lake Formation Resolve?

O trabalho de se configurar um data lake em nuvem envolve uma infinidade de processos em sua essência um data lake pode ser definido como uma camada de storage escalável onde os dados são armazenados, contudo para se extrair valor dos dados o data lake na prática necessita de um ecossistema de plataformas que irá processar, gerenciar e consumir os dados existe um grande esforço durante a implementação de um data lake para definir como todas estas ferramentas e processos diferentes irão interagir e trabalhar em conjunto, devido a sua grande flexibilidade soluções de data lake podem ser bastante complexas e exigindo conhecimento de um amplo espectro de serviços de dados.

O Que Há de Novo?

A minha pessoal empolgação quando soube sobre o lançamento do AWS Lake Formation, é porque ele é um tentativa de definição de uma stack de serviços básica dentro do AWS para que você inicie seu projeto de data lake, que até então embora grande parte desses serviços já estivessem disponíveis, a decisão ficava ao cargo do arquiteto de usar ou não determinados serviços, além disso usando o Lake Formation a integração entre os serviços da AWS é melhorada o que te permite definir regras de acesso aos dados em um lugar, e dissipá-las transparentemente nos serviços do AWS, outras características importantes do Lake Formation é a de auxiliar no processo de carga de dados no data lake, segurança e catálogo de dados.

Minhas Impressões

Tendo trabalhado em alguns projetos de data lake eu confesso que que me surpreendi bastante com AWS Lake Formation ele oferece sem dúvida um conjunto de serviços básicos para se montar um data lake.

Image for post
Image for post

Em apenas alguns passos é possível carregar o sua base dados e rapidamente ter sua fonte de dados ingeridas pelo data lake, com o uso da ferramenta “Blueprint” você pode carregar os seus dados em batches ou configurar para que ocorra uma carga periódica da sua base de dados, depois disso você precisa apenas gerenciar as permissões das suas tabelas e o seu data lake está pronto para uso!
Grande parte dos cenários básicos onde você precisa carregar dados do banco de dados para o data lake já são cobertos e facilmente resolvidos.

Nem Tudo é Perfeito

Fácil de usar e com uma interface bastante intuitiva o Lake Formation é uma mão na roda! Contudo existem é claro alguns pontos negativos que você deve ficar de olho:

  • Não existe no serviço de blueprint uma opção que te permita configurar quantas conexões e o nível de paralelismo da carga de dados do banco de dados para o data lake.

Conclusão

Confesso que quando comecei os testes do AWS Lake Formation estava um pouco desacreditado com o valor que este serviço iria prover, contudo me surpreendi bastante com todas as caraterísticas e com a facilidade para se iniciar as funções mais básicas de carga de dados, se você já trabalha com engenharia de dados a algum talvez já tenha aquele conjunto de scripts que consiga fazer o mesmo, contudo se você está começando um projeto de data lake eu definitivamente recomendo o uso do serviço mesmo que você ainda tenha que lidar com grande parte dos detalhes de implementação o Lake Formation é um bom ínicio principalmente para projetos menores de data lake que precisam de poucas customizações e trabalham com formatos de dados tabulares.

Se você leu até aqui muito obrigado não deixe de clicar nas palminhas e deixar comentários em caso de dúvidas ou sugestões.

Te vejo no próximo artigo grande abraço!

Referências:

  1. Lake Formation AWS

Data Hackers

Blog oficial da comunidade Data Hackers

Welcome to a place where words matter. On Medium, smart voices and original ideas take center stage - with no ads in sight. Watch

Follow all the topics you care about, and we’ll deliver the best stories for you to your homepage and inbox. Explore

Get unlimited access to the best stories on Medium — and support writers while you’re at it. Just $5/month. Upgrade

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store