為什麼需要防火牆? 是有什麼會燒起來嗎?萬一燒起來再救火不行嗎?
SlackAPIPostOperator
由於均一工作溝通主要使用 Slack,如果 Airflow各階段的執行結果都能在 Slack跳訊息通知,就不需要一直切換到 Airflow之中確認狀態;另外也不是每個人都有權限可以打開 Airflow,但都可以藉由…
Airflow的每一個節點都是由 DAG組成,因此我們必然會遇到要觸發 DAG執行的情況,藉由一連串的觸發,最後才能完成整條 pipeline.
在 Airflow:PythonOperator這篇文章我們已經講過 Airflow和 Python的愛恨情仇(誤),所以這邊不再重述。
Airflow在其官網中就表明他是一個純粹的 Python架構,因此對 Python的支援很廣泛,作為多數資料工程人員熟悉的語言,如果能用 Python操作一定是相對容易的。
在開始之前,先介紹一下什麼是 Bash
全名為 Bourne Again SHell,是 Linux底下 shell中的程式語言,必須誠實說我 對 Linux只有基礎認識,主要運用在本機 terminal查詢,在 Airflow和 Gitlab CICD也會使用到。
Azure Container Instances 是微軟 Azure 提供的輕量化 Serverless 容器服務,只要提供 Docker Image 就能把服務上線跑起來
相關中文介紹:官方文件1,官方文件2
均一將 Airflow架設在 Azure Container Instances之中,原因如下
均一的資料來源主要有四
Airflow 是一個有趣的工具