Airflow：新增 DAG，Web UI卻沒看到？ 你可以試試看這麼做

除了既有的 DAG，當我們需要新增 DAG時，常常遇到的問題是，branch 切過去了，在 terminal也看得到新增的檔案，但在 Web UI就是找不到(幹)

均一 Data pipeline的日常運作

均一的資料來源主要有四

1. Google Cloud Storage：後端過來的資料，因為備份費用高，且沒有即時性需求，每週備份一次。

Airflow：TriggerDAGRunOperator

Airflow的每一個節點都是由 DAG組成，因此我們必然會遇到要觸發 DAG執行的情況，藉由一連串的觸發，最後才能完成整條 pipeline.

均一在 Airflow的應用

為什麼要使用 Airflow？

Airflow 是一個有趣的工具

• 視覺化漂亮：明確看得到整個資料的備份流程

GitLab CICD：如何建立 CI yml檔

yml檔中存放的，是我們要對 MR做的騷（誤）操作，當我們要建立第一個 yml檔時，千萬不要直接新增一個 .yml檔案阿！