Airbyte: implementa Change Data Capture (CDC) y SCD Tipo 2 en tus pipelines

Configuración de Write-Ahead Log (WAL)

Buen día red, cómo están?

En este tutorial veremos cómo crear:

• un origen/destino DB Postgres
• un pipeline que mueva los datos utilizando Change Data Capture (CDC) y SCD (Slowly Changing Dimensions) Tipo 2.

💬Me enfocaré en mostrar CDC en acción, así que usaré como origen y destino DB Postgres.

🎁Si no eres miembro de Medium puedes leer este artículo gratuitamente desde aquí: https://medium.com/@dariobernabeu/airbyte-implementa-change-data-capture-cdc-pipelines-3238d7174925?sk=16e3c0b91dfbd1c6e757a8a7fe3424fb

Indice de temas:

• Preparación
• 1) Crear origen DB Postgres CDC
• 2) Crear destino DB Postgres
• 3) Crear pipeline EL (Extraction & Load)
• 4) Ejecución del pipeline EL
• 5) Alta, baja, modificación… y ejecución del pipeline EL

Preparación

a) Debemos tener instalado Airbyte. Aquí un tutorial para desplegar Airbyte en Docker: