Tagged in

Airflow

數據共筆
數據共筆
Followers
5
Elsewhere
More, on Medium

Airflow寄信附檔2:信件內容設定與附檔

前情提要
Airflow寄信附檔:儲存 Bigquery執行結果為 csv檔

不囉嗦,直接上 Code

# 定義 email相關的設內容
# 附件是我們在前情提要中已經下載而來的檔案
...
receiver = {
"宜蘭縣":YILAN_RECEIVER,
"高雄市":KAOSHUNG_RECEIVER…

Airflow: SlackAPIPostOperator

由於均一工作溝通主要使用 Slack,如果 Airflow各階段的執行結果都能在 Slack跳訊息通知,就不需要一直切換到 Airflow之中確認狀態;另外也不是每個人都有權限可以打開 Airflow,但都可以藉由…


Airflow:BrachPythonOperator

Airflow:PythonOperator這篇文章我們已經講過 Airflow和 Python的愛恨情仇(誤),所以這邊不再重述。


Airflow:PythonOperator

Airflow在其官網中就表明他是一個純粹的 Python架構,因此對 Python的支援很廣泛,作為多數資料工程人員熟悉的語言,如果能用 Python操作一定是相對容易的。


Airflow:BashOperator

在開始之前,先介紹一下什麼是 Bash

Bash

全名為 Bourne Again SHell,是 Linux底下 shell中的程式語言,必須誠實說我 對 Linux只有基礎認識,主要運用在本機 terminal查詢,在 Airflow和 Gitlab CICD也會使用到。