Airflow:新增 DAG,Web UI卻沒看到? 你可以試試看這麼做

許博淳
數據共筆
Published in
May 23, 2022

除了既有的 DAG,當我們需要新增 DAG時,常常遇到的問題是,branch 切過去了,在 terminal也看得到新增的檔案,但在 Web UI就是找不到(幹)

圖片來源:https://previews.123rf.com/images/iqoncept/iqoncept1601/iqoncept160100112/51551707-it-works-red-round-stamp-in-grunge-style-to-illustrate-effective-strategy-or-plan.jpg

用相關關鍵字,也可以找到一大堆結果 XD

通常會有這個情況,是因為新增的 DAG有錯,但我們就是看不到新的 DAG,也無法知道錯在哪裡,能怎麼辦?

我自己發現一個簡單的方式解決

  1. 找一個已經存在 DAG(以下稱舊的 DAG)
  2. 將內容改成新增的 DAG
  3. 推 code 到 MR,Airflow也要 git pull到最新
  1. 回到 Airflow首頁,通常就會看到舊的 DAG報錯
  2. 修正錯誤,直到舊的DAG不再報錯
  3. 把 code貼到新的 DAG之中
  4. 理論上就會看到

另外也可以修改 airflow.cfg,預設更新更新一次的時間是5分鐘(300秒)

dag_dir_list_interval = 300

可以將時間改的更短

--

--