[Data] Data Pipeline 101（一） — 什麼是 Data Pipeline

水管工就是沒地位，最受歡迎的水管工是馬力歐

[Python] 如何測試 SQL 邏輯

SQL 學得好，要飯要到老

CRUD 是基礎中的基礎，在做 data ingestion 或整理資料的時候常常會用到。為了保證 CRUD…

[Data] Data Pipeline 101（八） — ETL Job 開發流程

從開發到放棄

介紹一下一般開發 ETL 的流程。每隻 ETL 都可以看作是獨立的程式，有獨立的開發流程。

設計原型

跟一般的軟體開發一樣，先從最關鍵的點開始做 POC，確認商業邏輯和資料是可行的再做後續開發。

[Data] Data Pipeline 101（四） — 管線系統設計與開發 — 功能面

強健的管線才能支撐大量的資料流動

[Python] Airflow Rendered SQL 測試工具

Airflow + unittest + decorator + partial function

背景

Airflow 是管理排程的工具，目前是用來管理大部分的 Batch ETL 程式。Airflow 的特色就是所有排程和設定都必須透過程式碼，壞處就是沒辦法在 UI 上做任何設定，好處就是所有設定都會跟著程式碼做對應版本控管。所以不管是控制命令還是 SQL 全部都是程式碼控制。

[Data] 將報表截圖丟到 Slack 上（上篇）

我承認一開始我覺得這是笨需求…

我相信做報表的同事一定都會聽過這樣的需求：

幫我把報表每天早上寄到信箱/ slack