我相信多數人應該是先使用了 TFS多年後,才轉換到 Git,我則是相反,從均一教育平台來到趨勢,從使用 GitLab,單一主環境和 GCP,到 TFS,分層及開發環境和地端資料中心,我嘗試寫一篇文章分析兩者的使用心得。
Airflow 雖然是以 Python撰寫,在傳遞參數上卻不像 Python的 function那麼簡單,甚至全域變數和區域變數的使用也十分詭異,因此以下做一些我的統整,同時感謝網路上許多先進。
懶人包
同一個 DAG內傳遞變數:Xcom
跨 DAG傳遞變數:Variable
題目連結: https://leetcode.com/problems/climbing-stairs/
如果你看了上一篇(Airflow: 使用 Xcom / Variable傳遞參數)發現那不是你要的,你要的是像 python的…
除了既有的 DAG,當我們需要新增 DAG時,常常遇到的問題是,branch 切過去了,在 terminal也看得到新增的檔案,但在 Web UI就是找不到(幹)
前情提要
Airflow寄信附檔:儲存 Bigquery執行結果為 csv檔
不囉嗦,直接上 Code
# 定義 email相關的設內容# 附件是我們在前情提要中已經下載而來的檔案
...receiver = { "宜蘭縣":YILAN_RECEIVER, "高雄市":KAOSHUNG_RECEIVER…
Airflow在其官網中就表明他是一個純粹的 Python架構,因此對 Python的支援很廣泛,作為多數資料工程人員熟悉的語言,如果能用 Python操作一定是相對容易的。
有了之前講過的 With,易讀性提昇了,但每次要使用就要寫一次嘛?這樣 Code散落各地會很不好管理。
使用 Procedure的優點
如果要在操作 CICD 對Gitlab做,明碼寫出帳號密碼會被笑(無誤),畢竟這樣會有資安的風險。
參考資料來源:https://medium.com/%E7%A8%8B%E5%BC%8F%E4%B9%BE%E8%B2%A8/python-round-%E5%9B%9B%E6%8D%A8%E4%BA%94%E5%85%A5-%E7%9A%84%E5%B0%8F%E5%9D%91-7ef8accad931
簡單來說,因為電腦是2進位,1.5其實是1.499…
These were the top 10 stories published by 數據共筆; you can also dive into yearly archives: 2022, 2023.