Airflow: 使用 Xcom / Variable傳遞參數

Airflow 雖然是以 Python撰寫，在傳遞參數上卻不像 Python的 function那麼簡單，甚至全域變數和區域變數的使用也十分詭異，因此以下做一些我的統整，同時感謝網路上許多先進。

懶人包

同一個 DAG內傳遞變數：Xcom

跨 DAG傳遞變數：Variable

GitLab CICD：API

如果要在操作 CICD 對Gitlab做，明碼寫出帳號密碼會被笑（無誤），畢竟這樣會有資安的風險。

GitLab CICD：Variable

如果要在操作 CICD 對Gitlab做，明碼寫出帳號密碼會被笑（無誤），畢竟這樣會有資安的風險。

GitLab CICD：BigQuery的自動排版

想想看一個美好的情況，我寫了一整天的 Code，對了一堆技術細節卻沒有排版，送出到 GitLab內它會幫忙排版，然後再送出一個 MR。

GitLab CICD：結構介紹

架構大概長成這樣，各部分的說明也寫在註解中

// 主要的工作階段
// 用來標示有哪一些階段，每一個階段不一定只有一個工作，實際有哪些工作在下面定義。
// 有順序性，以範例來說，a_stage…

Bigquery: 使用 合併 Join和 Array重構程式碼範例

這邊先講一下我重構的邏輯

• 執行結果要相同，絕對要，這點沒有妥協餘地
• 程式碼要更好懂，但不一定要更快，人讀得懂才回好維護。
• 不一定要一次重構到最好，而是每次修改都比前一次更好，但相同的邏輯我會建議一次改好。