DuckDB: análisis de datos OLAP usando SQL

Procesamiento de millones de registros en segundos

🎁Si no eres miembro de Medium puedes leer gratis este artículo desde aquí…

Buen día red, cómo están?

Mas allá de la capacidad OLAP de DuckDB quiero destacar la facilidad que brinda para solucionar issues de análisis de datos del día a día.

Por ejemplo, nos enviaron un CSV con información de usuarios y tenemos que compararlos con los usuarios que se encuentran en nuestra DB (o en otro CSV), aplicando filtros, agrupaciones y transformaciones; y se espera que obtengamos otro archivo CSV que contenga una combinación de los datos de ambas fuentes.

Hay muchas formas y herramientas para solucionar este tipo de tareas, sin embargo, DuckDB lo hace más rápido y mediante un lenguaje muy bien conocido:

• SQL

⚠️Al final del artículo realizaré pruebas con 75 millones de registros (y 25 columnas) para analizar la performance de DuckDB.

Veremos:

• DuckDB: diseño OLAP
• Principales características
• Concurrencia
• Creación de conexión en DBeaver
• Ejecución Online
• Ejemplos prácticos