Data Pipeline

Data Pipeline Design Patterns(3) Accumulated Mirroring

保存歷史狀態

適用情境

Data Pipeline Design Patterns(2) Partial Mirroring

部分鏡像 — Select and Filter

適用情境

Data Pipeline Design Patterns(1) Mirroring

完全鏡像

[Data] Data Pipeline 101（八） — ETL Job 開發流程

從開發到放棄

介紹一下一般開發 ETL 的流程。每隻 ETL 都可以看作是獨立的程式，有獨立的開發流程。

設計原型

跟一般的軟體開發一樣，先從最關鍵的點開始做 POC，確認商業邏輯和資料是可行的再做後續開發。

[Data] Data Pipeline 101（四） — 管線系統設計與開發 — 功能面

強健的管線才能支撐大量的資料流動

[Data] Data Pipeline 101（一） — 什麼是 Data Pipeline

水管工就是沒地位，最受歡迎的水管工是馬力歐