Photo by Jonathan Borba on Unsplash

Airbyte: Integração de Dados / CDC para Equipes de Dados Modernas!

Crie seus fluxos de dados simples em tempo real com uma plataforma gratuita e fácil!

Josue Luzardo Gebrim
Published in
24 min readNov 20, 2021

--

Essa publicação pretende apresenta o cenário de integração de dados utilizando a solução Airbyte, como criar fluxos de captura de mudanças dos dados e muito mais.

Em muitas organizações é normal que sujam diversas fontes de dados estruturados e não estruturados com formas específicas de acesso e controle, nesse cenário é muito comum vermos uma série de fluxos de dados muitas vezes dispostos em soluções para cenários de big data como o Apache Spark.

Por falta de conhecimento técnico em outras soluções e uma boa liderança é muito fácil e comum que equipes de dados comecem a utilizar uma determinada solução como bala de prata, até que esse processo fique claro, comece a utilizar uma infraestrutura desnecessária e afete outros processos muito mais críticos.

Pesando em uma solução para integração de dados simples, quase que uma captura de mudanças que pode ser utilizada em diferentes nuvens como GCP e AWS, simples de utilizar para que os usuários não tenham dificuldades e seja de fácil manutenção, descobrir o Airbyte.

O Airbyte é um projeto de código aberto com diversos conectores, possibilidade…

--

--

Josue Luzardo Gebrim
Dados Para Todos!

As a platform engineer, ecosystems, and data solutions, I'm sharing my opinion and what little I know from time to time here.