幾年來也寫了一些文章,但好像從來沒有好好自我介紹過,因此想要寫一篇文章作為對自己目前經歷的總結,以及分享我對這領域職場的看法。
你是否有許多工作依靠 crontab 來管理,結果除了四散各處難以管理外,許多有相依性的功能又沒辦法保證順序?明明前一個工作失敗了,後一個依舊開始執行,結果使修復工作更加複雜?
哈囉,大家今天過得好嗎?在 Data Pipeline 這系列的上一篇文章中已經介紹過了整個 Data Pipeline…
對於許多軟體服務來說,Log 是一種埋藏的金礦,甚至對於廣告平台來說更是直接關係到營收多寡的東西,因此如何建立穩定可靠的 Data Pipeline 就成為一件非常重要的事情,本文將介紹如何從零開始建構整個流程。
我現職主要是負責 Data Pipeline…