除了既有的 DAG,當我們需要新增 DAG時,常常遇到的問題是,branch 切過去了,在 terminal也看得到新增的檔案,但在 Web UI就是找不到(幹)
用相關關鍵字,也可以找到一大堆結果 XD
通常會有這個情況,是因為新增的 DAG有錯,但我們就是看不到新的 DAG,也無法知道錯在哪裡,能怎麼辦?
我自己發現一個簡單的方式解決
- 找一個已經存在 DAG(以下稱舊的 DAG)
- 將內容改成新增的 DAG
- 推 code 到 MR,Airflow也要 git pull到最新
- 回到 Airflow首頁,通常就會看到舊的 DAG報錯
- 修正錯誤,直到舊的DAG不再報錯
- 把 code貼到新的 DAG之中
- 理論上就會看到
另外也可以修改 airflow.cfg,預設更新更新一次的時間是5分鐘(300秒)
dag_dir_list_interval = 300
可以將時間改的更短