Tagged in

Data Pipeline

數據共筆
數據共筆
Followers
5
Elsewhere
More, on Medium

Airflow: SlackAPIPostOperator

由於均一工作溝通主要使用 Slack,如果 Airflow各階段的執行結果都能在 Slack跳訊息通知,就不需要一直切換到 Airflow之中確認狀態;另外也不是每個人都有權限可以打開 Airflow,但都可以藉由…


Airflow:BrachPythonOperator

Airflow:PythonOperator這篇文章我們已經講過 Airflow和 Python的愛恨情仇(誤),所以這邊不再重述。


Airflow:PythonOperator

Airflow在其官網中就表明他是一個純粹的 Python架構,因此對 Python的支援很廣泛,作為多數資料工程人員熟悉的語言,如果能用 Python操作一定是相對容易的。


Airflow:BashOperator

在開始之前,先介紹一下什麼是 Bash

Bash

全名為 Bourne Again SHell,是 Linux底下 shell中的程式語言,必須誠實說我 對 Linux只有基礎認識,主要運用在本機 terminal查詢,在 Airflow和 Gitlab CICD也會使用到。