Airflow: 使用 Xcom / Variable傳遞參數

Airflow 雖然是以 Python撰寫，在傳遞參數上卻不像 Python的 function那麼簡單，甚至全域變數和區域變數的使用也十分詭異，因此以下做一些我的統整，同時感謝網路上許多先進。

懶人包

同一個 DAG內傳遞變數：Xcom

跨 DAG傳遞變數：Variable

Airflow：新增 DAG，Web UI卻沒看到？ 你可以試試看這麼做

除了既有的 DAG，當我們需要新增 DAG時，常常遇到的問題是，branch 切過去了，在 terminal也看得到新增的檔案，但在 Web UI就是找不到(幹)

Bigquery：利用 Procedure讓程式碼隨時可以呼叫

有了之前講過的 With，易讀性提昇了，但每次要使用就要寫一次嘛？這樣 Code散落各地會很不好管理。

懶人包

使用 Procedure的優點

• 減少重複寫相同 Code
• 版本控制

Procedure的寫法

GitLab CICD：Variable

如果要在操作 CICD 對Gitlab做，明碼寫出帳號密碼會被笑（無誤），畢竟這樣會有資安的風險。