資料工程

你是否有許多工作依靠 crontab 來管理，結果除了四散各處難以管理外，許多有相依性的功能又沒辦法保證順序？明明前一個工作失敗了，後一個依舊開始執行，結果使修復工作更加複雜？ 這個時候 Apache Airflow 也許就是你的好選擇。

哈囉，大家今天過得好嗎？在 Data Pipeline 這系列的上一篇文章中已經介紹過了整個 Data Pipeline 大概長什麼樣子？會有哪些需要用到的東西？如果還不熟悉的可以先去看一下

幾年來也寫了一些文章，但好像從來沒有好好自我介紹過，因此想要寫一篇文章作為對自己目前經歷的總結，以及分享我對這領域職場的看法。

對於許多軟體服務來說，Log 是一種埋藏的金礦，甚至對於廣告平台來說更是直接關係到營收多寡的東西，因此如何建立穩定可靠的 Data Pipeline 就成為一件非常重要的事情，本文將介紹如何從零開始建構整個流程。

我現職主要是負責 Data Pipeline 與部分機器學習相關的工作，在監控整體服務營運成效時，一直有個疑問是「單從純量的圖形來看時，我實在看不出每天有什麼不一樣」以及「當不同事件相差數十倍時，我沒辦法在同一張表看出兩者各自的變化，更無法看出彼此間是否有什麼關聯」。