Garbage in, garbage out
保存歷史狀態
部分鏡像 — Select and Filter
完全鏡像
我承認一開始我覺得這是笨需求…
我相信做報表的同事一定都會聽過這樣的需求:
幫我把報表每天早上寄到信箱/ slack
駕馭工具
Airflow + unittest + decorator + partial function
Airflow 是管理排程的工具,目前是用來管理大部分的 Batch ETL 程式。Airflow 的特色就是所有排程和設定都必須透過程式碼,壞處就是沒辦法在 UI 上做任何設定,好處就是所有設定都會跟著程式碼做對應版本控管。所以不管是控制命令還是 SQL 全部都是程式碼控制。
看得到用不到的 MySQL connector
老梗但必要
前人種樹後人乘涼
如果把 Data Pipeline 是資料處理系統的總稱,這個系統中的最小單位是 Stage/ Task,一個或多個 Stage/ Task 會組成一條基本的處理資料的 Job。有了這個基本認知後,再接下來細看每個東西是在幹嘛的。