Data Engineering

Types of data product — Raw Data

Garbage in, garbage out

Data Pipeline Design Patterns(3) Accumulated Mirroring

保存歷史狀態

適用情境

Data Pipeline Design Patterns(2) Partial Mirroring

部分鏡像 — Select and Filter

適用情境

Data Pipeline Design Patterns(1) Mirroring

完全鏡像

[Data] 將報表截圖丟到 Slack 上（上篇）

我承認一開始我覺得這是笨需求…

我相信做報表的同事一定都會聽過這樣的需求：

幫我把報表每天早上寄到信箱/ slack

[Python] Airflow Rendered SQL 測試工具

Airflow + unittest + decorator + partial function

背景

Airflow 是管理排程的工具，目前是用來管理大部分的 Batch ETL 程式。Airflow 的特色就是所有排程和設定都必須透過程式碼，壞處就是沒辦法在 UI 上做任何設定，好處就是所有設定都會跟著程式碼做對應版本控管。所以不管是控制命令還是 SQL 全部都是程式碼控制。