人工智慧/機器學習應用於大氣科學

劉正欽
柿甜茶香
Published in
12 min readJul 15, 2020

人工智慧近年很紅,應該不用特別說明吧。嘗試人工智慧應用於大氣科學領域,是畢業之後的第一份工作(本人非大氣科學及人工智慧領域背景)。整理了一些文獻,在此分享。

一、前言

人工智慧的願景在Alphago擊敗世界棋王後又再度被提及與重視,其中的關鍵在於硬體計算資源的提升,有助於更多更複雜的演算法實踐在人欲解決的問題中。如前述,人工智慧是一種願景,在實現願景的動力下,技術的發展及學習是不可或缺的一部分,也因如此,其中一項關鍵技術「機器學習」在世界大紅大紫,眾多產業領域都在「機器學習」。而台灣當然不落人後,尤其是醫療界及金融界,從2017年前即開始布局,接者意圖達成工業4.0的企業亦開始加入,不僅如此,為了讓台灣優秀人才與企業有系統地學習人工智慧的知識及提升相關技術,一名為台灣人工智慧學校順勢成立(目前在台灣有4所分校)。一連串產業加速引入機器學習技術(甚至搭配物聯網、雲端計算及5G傳輸)的環境下,大氣科學領域是否能夠有效的應用機器學習,將機器學習視為一可行方案,尚有空間需要評估及努力。

去年(2019),就我的觀察,可以視為大氣科學界開始重視如何將人工智慧/機器學習技術與大氣科學結合的重要年度,會這麼認為的主要原因有,

1.「幾個專門討論人工智慧/機器學習技術如何應用在大氣科學領域相關議題的研討會或討論會,開始由國際上較大型的氣象機構主辦,請見表1」。這別於過往,過往針對如此的議題,國際氣象機構並不會特別舉辦專門的研討會或討論會,頂多伴隨於一個大型研討會的小主題(譬如AMS年會多主題中,會特別設置一個),扮演配角的任務。

2. 在2019年底,AMS的Weather and Forecasting期刊發布本期刊拓展的目標及定位(Broadening the Scope and Impact of Weather and Forecasting),重點的目標以條列式方式說明,其中第2點提到2019年5月已邀請Professor Amy McGovern (University of Oklahoma)擔任期刊編輯者,主要負責人工智慧/機器學習技術相關的文章審閱。McGovern是人工智慧/機器學習技術應用於物理科學的專家。

3. 機器學習技術的成果在大氣領域期刊有成長的趨勢,如圖1,以AMS所屬的期刊Monthly Weather Review及 Weather and Forecasting為例,從2015年至2020年,由每年3至4篇的機器學習技術發表到每年5到10篇(列入計算的文章是與氣象較有直接相關的主題,若是乾旱或野火等議題不列入計算)。

透由上述3點,對於人工智慧/機器學習技術與大氣科學之跨領域研究甚至到作業,我認為2019年是非常重要的一年,增加許多有價值的參考資訊,讓相關單位及研究人員評估機器學習應用於大氣科學領域是否有可行性或前瞻性。而今年(2020)亦有值得注意的研討會可能可以作為有效的參考,請見表2。

在進行後續文章內容之前,推薦幾篇值得閱讀的文章,推薦原因是文章類別都是以鑑往知來的方式撰寫,對於想要嘗試相關領域的學者是不錯的參考。

1. Machine Learning in Tropical Cyclone Forecast Modeling: A Review

2. Leveraging Modern Artificial Intelligence for Remote Sensing and NWP: Benefits and Challenges

3. NOAA ProbSevere v2.0 — ProbHail, ProbWind, and ProbTor

4. NOAA Artificial Intelligence Strategy

5. Learning earth system models from observations: machine learning or data assimilation?

6. Building bridges between domain scientists and machine learning experts: the essential role of weather/climate scientists in machine learning collaborations

7. Making the Black Box More Transparent: Understanding the Physical Implications of Machine Learning

圖1 AMS所屬其中兩期刊近5年(2020僅統計至6月30)有關機器學習技術之文章發表總數。

二、機器學習應用於大氣科學領域的面向(以氣象領域角度)

根據前言的內容,如何利用機器學習驅使大氣科學領域如虎添翼,這與選擇對的題目(欲解決的問題)有關,因此以大氣領域相關期刊或研討會的發表為基礎,針對發表文章的題目進行文字雲分析,目的為掌握趨勢。蒐集2019至2020年6月有關機器學習應用於大氣科學領域的文章,針對文章的題目進行文字雲分析。文章的來源為國際研討會(表3)及國際期刊(表4),研討會是以氣象單位或地球科學組織主辦的研討會,國際期刊是選擇大氣領域的期刊。文章總數600多篇,文章題目的總字數為7800多字。文字雲的結果如圖2,字體愈大代表該單字或字詞在標題中出現的頻率愈高,以全球的觀點而言,該議題較受到重視,或者,該議題是目前應用機器學習於大氣科學領域最可行的方向。

根據圖2,model, prediction, forecast, remote sensing, climate, nowcasting, retrieval, correction, parameterization, detection等字樣皆是大的方向,給予的重點應該要著重於大方向下的多樣性,例如預報、監測、反演或修正何項變數,這類多樣性可由其它字詞推敲,以其中一個字詞cloud為例,可以跟cloud結合的有detection, forecast, nowcasting等,實際取6篇文章之題目,如圖3所示,有針對雲進行分類的應用,有使用衛星及數值模式資料進行雲量預報的研究,有探討雲微物理過程的文章,有推求凝结核濃度的應用,600多篇的文章標題中,以非大氣領域的一般人而言,對於機器學習應用於cloud相關議題的看法,大部分僅有預報雲量及分類雲屬兩個方向,較不會聯想到雲微物理(模式)及凝結核濃度(大氣化學)這兩個方向,但這兩個方向對於模式預報或空氣品質而言,是有其關鍵的影響。因此,機器學習應用於大氣科學領域,需要大氣科學的專家給予有價值的研究議題,再經過有效的溝通,才是成功的模式。附錄附上不同主題推薦閱讀的文章(不限定2019年至2020年)。

再者,根據Peter Dueben代表在HPC-AI Advisory Council’s 2020 Stanford Conference的簡報中,列舉許多機器學習應用於數值天氣預報的方向,可參考表5。Peter Dueben列舉的方向與文字雲中的關鍵字大同小異,只是更針對於數值天氣預報的領域及流程進行列舉。

圖2 大氣領域期刊及研討會已發表著作中,與機器學習相關著作標題之文字雲
圖3 以cloud為例之6篇文章類別

三、國際組織對於機器學習應用於大氣科學領域之觀點

在600多篇的文獻中,有幾篇文章是以宏觀的角度探討或說明機器學習應用於大氣科學領域的可能性,許多重點都提及文字雲中的improve,代表機器學習極有可能突破大氣科學領域現有的瓶頸。這些文章中,有Google, Nvidia, IBM等國際企業的看法,更重要之處是有氣象組織NOAA及ECMWF的背書,說明機器學習在大氣科學領域的可能性、會遇到的困難及如何在該組織落地等。以下簡易說明重點,

NOAA的策略(NOAA Artificial Intelligence Strategy)

對於NOAA而言,AI並非是新的事物。NOAA過往已使用AI在不同任務(例:處理地球觀測資料),因此對於AI應用於科學領域可說是有豐富的經驗。儘管有豐富的經驗,但有兩項欠佳的狀況,其一是尚未明白(has not been realized)AI能推進NOAA任務的潛力,因為迄今為止所有NOAA AI應用都起源於各個單位,沒有實際的支持,其二是誇單位間缺乏認知(lack of awareness across the agency),導致多餘的發展。面對如此狀況,NOAA特別擬定了AI策略,主要策略有5大目標,

1. Establish an efficient organizational structure and processes to advance AI across NOAA

為了加強各團隊合作,解決目前AI發展資源分散的狀況。

2. Advance AI research and innovation in support of NOAA’s mission

將AI與NOAA任務進行連結,並將AI之相關應用制度化。

3. Accelerate the transition of AI research to applications

加速AI基礎環境的研究能夠作業化(R2O)及私營部門(private-sector)商業化(R2C)。

4. Strengthen and expand AI partnerships

透過合作關係,可以相互交流科學及技術議題,加速NOAA在AI的發展,除此之外,還包含加速優化雙方的資源及成果。

5. Promote AI proficiency in the workforce

在適當的情況下,提供一定人力針對AI領域進行學習,以熟悉AI的知識與相關技術。

每一項目標內有多項目的,詳細內容可以參考NOAA Artificial Intelligence Strategy文章。

ECMWF的觀點(Machine learning for weather forecasts)

ECMWF僅剛開始( only at the very beginning)發掘機器學習應用於不同面向之潛能,根據Peter Dueben於HPC-AI Advisory Council’s 2020 Stanford Conference之簡報內容,分享的面向有觀測(偵測雷擊驅使野火發生的風險)、資料同化(4DVar資料同化預報模式的偏差修正)、數值天氣預報(To emulate the radiation scheme、gravity wave drag)、後處理及推廣(correct spread of ensemble predictions)。而可否持續發展,有幾項科學的挑戰,例如如何利用大氣科學的知識改進機器學習的工具、如何利用機器學習的工具校驗目前已知的大氣科學知識、如何將機器習工具調整至高計算效率之應用、如何設計優質的訓練資料等,這些科學的挑戰都在進行中,期待能夠有所突破與實踐。而在這些科學的挑戰下,ECMWF的挑戰主要如下,

1. ECMWF will need to prepare for different pattern of user requests.(in particular for data)

2. ECMWF will need to keep up with developments of supercomputing hardware that are currently driven by machine learning and artificial intelligence (e.g. low numerical precision)

3. ECMWF will need to support the community infrastructure for machine learning

根據NOAA與ECMWF對於AI機器學習的看法(包含策略與挑戰),共同關注的焦點有,

1. 有效的硬體資源,有效的運算資源管理,有效的資料管理(資料工程)。

2. 機構支持AI的研究,可能的方式有組織AI團隊、將機構目前的任務與AI連結、透由教育訓練的方式提升員工AI之能力。

3. 不同領域及機構間的合作。

4. 如何證明AI機器學習得到的答案有其解釋性,以說服大氣科學專家對於機器學習的結果。

四、台灣的機會

先提供一些議題如表6,還有一些跨領域的合作,如太陽能、風能、防災、農漁業、交通、智慧城市等,會運到大氣相關資料的皆是議題。待續.....

--

--