Airflow在其官網中就表明他是一個純粹的 Python架構,因此對 Python的支援很廣泛,作為多數資料工程人員熟悉的語言,如果能用 Python操作一定是相對容易的。
Airflow的每一個節點都是由 DAG組成,因此我們必然會遇到要觸發 DAG執行的情況,藉由一連串的觸發,最後才能完成整條 pipeline.
在 Airflow:PythonOperator這篇文章我們已經講過 Airflow和 Python的愛恨情仇(誤),所以這邊不再重述。
Airflow和許多雲端服務都能夠很好的結合,均一使用 Google BigQuery處理資料,因此我們需要使用相關的 Operator。