為什麼不確定性可以讓AI模型變得更好?從財務風險看不確定性

我們談論的「風險」到底是什麼?
不確定性,其實是成長的基石之一

「不確定性」 意味著什麼呢?

在生活上,不確定性通常反應我們「難以確定」的事情,好比「我不確定下午會不會下雨,妳最好帶把傘!」、「我不確定這樣寫有沒有分數,但我查不到其他更近一步的資料了。」

注意到了嗎?我們對抗「不確定性」的方式,就是找到一個「比較優」的應對方式,根據個人對不確定性的可能後果採取先一步的「行動」。

比如說,就算我不確定下午會不會下雨,倘若我覺得淋雨也沒關係,反而少了帶傘的麻煩,那我的行動就是「不帶雨傘出門,我能夠承受這樣不確定性的後果」,另外一方面也可能是「我認為不下雨的概率比較大」。

有趣的是,就算我認為不太可能下雨,但我的身體很脆弱,只要有可能下雨我就必須撐傘以免淋濕,我就會:「帶雨傘出門,因為可以防範下雨的情況。」

這樣的決策過程,在財務學中也可以見到。

市場反應足夠資訊了嗎?

財務理論中,不確定性通常表示「風險」,這樣的不確定性又涵蓋了「難以預料」以及「無法控制」的因素。我難以預測綜合了「中美貿易戰」、「聯準會降息」等對股市空(看跌)多(看漲)因素的市場會變成什麼樣子,或者我無法控制「證券掛牌上市」的市場走向,正因為我們無法掌握這種不確定性,所以常常做出一些適當的風險管理。

以上述例子來說,比如「看漲、看跌」的聲音一樣多,那我就乾脆在買入證券的同時放空遠期期貨以規避損失風險。

如果無法控制「證券掛牌上市」的市場走向,我就溢價發行、控制別的因素比如流通股數……..

那麼在人工智慧的模型上面,其實我們正是「利用風險來取巧」,為什麼呢?因為人工智慧是從資料中訓練出來的,如果要以數學的角度去訓練模型,那就是「error = 0 」,這意味著什麼呢?就是要百分之百擬合訓練資料的情況,因為這是「訓練時最好的結果」,如果我們「一點不確定都不放過」,就會使得AI的泛化能力降低,變成訓練模型而非真實描述資料的模型。

其實人,乃若人工智慧的學習也是如此,我們來設想一個情境,倘若化學家發現了一個沒有看過的分子結構,他會怎麼做?

我想是呼叫夥伴一起來確認這是不是一個新的發現、試圖更了解這個「未知的東西」。可惜他與夥伴討論之後,才發現原來這不是什麼新奇的玩意兒,已經被發現好幾十年了,那麼對於這個化學家來說,是不是件好事呢?

依然是,他擴充了自己的視野,甚至觸及了一個新的領域,代表他又更認識化學界了。深度學習(Deep Learning)也是如此,比如訓練一個大草原的兇猛生物分類器,我們很好的識別了蟒蛇、獅子、豺狼等生物,而準確地判斷了斑馬是個很溫馴的草食動物,當這個分類器以後看到老虎,說不定就會覺得「老虎是個很溫馴的草食動物」,因為老虎跟斑馬身上的斑紋真的很像,被作為溫馴動物的特徵了!

姑且不論老虎是否溫馴,草食動物這點就讓這個AI不具有我們對老虎的了解。倘若我們相信準確度就是一切,那麼我們的模型其實正是掉進了小範圍的陷阱,對於沒看過的資料難以應對。

那麼這些不確定性通常來自哪裡呢?就是周圍的資料環境,我們又可以怎麼做好不確定性的捕捉呢?

風險管理的重要性,協助改進預測結果

能不能很好「控制」自己的風險?利用不確定性來調整模型

一樣,上面我們提到了風險(risk)來自於「難以預料」與「無法控制」,這兩種類型的風險都是可以事先做好風險管理(risk management)的。

如果是實驗室,通常就會有一些「溫度、濕度」的微小浮動、商業環境中則是有競爭對手、政府政策、經濟貿易、科技進步等變動,金融市場則是貨幣政策、財政政策、資訊不對稱度等變動因素,這些都是「相對可控」但「難以預料」的風險因素,雖然他是不確定的,但是我們可以藉由考慮這些因子來捕捉「過去發生過的事情」,進而優化我們的模型,從經驗中學習。

而像是「電商活動成效」、「客戶流失」等對業務的不確定性,則是相對「可預料」但是「難以控制」的事件,比如客戶流失可以早在幾週、幾個月前看出趨勢、活動規劃可以在是前就做好評估、選品,但客戶口味變動大,即使已經慢慢掌握了客戶的生命週期,要怎麼留住顧客依然是個難題、這一次的活動會不會像往常一樣成功?這也是比較不可控的問題,畢竟造成最終結果的對象是顧客,而不是自己。

而處理這樣的變動也可以讓自己的商務更優化,好比納入節日因素、提前將客戶流失率編制成指數等等……來讓模型更好的捕捉到這些「不確定性」,讓我們的模型更加泛化。

什麼是理解?又什麼是訓練?

AI訓練師不是只餵食資料,而是調配營養的資料來造就健康的AI

AI會取代人類嗎?

許多人會懷疑AI是不是將取代人類,搶人類的工作,但是真的從事資料科學、關注AI的人,或者「理解不確定觀念」的人就會知道這其中一定有什麼誤會。人類的標注工作、對於資料的理解才能夠幫助AI學得更好、學得更加泛化,真正達到「理解的智慧」。

還記得修統計學的時候,丁教授講到「Bayes」的觀念在巨量資料的時代非常重要,目前人們除了搭建深度神經網路,也同步研究所謂的Bayesian models,針對資料提問、不停輸入人們對於資料的理解來優化模型,嘗試突破可解釋性AI的極限。

這樣的反饋也比較符合人們的學習方式,不是給一本數值分析的題庫與對應解答本就要試圖推出「數值分析是什麼?」

而是慢慢將人類所理解的「數值分析」告訴AI,並給予它練習以及反饋,這其實也是ML的訓練過程,而非不容易解釋的神經網路黑盒子。

但難以解釋的不確定性真的不好嗎?

相對地,深度學習也開啟了另外一種「不確定的好處」,畢竟人的理解其實有限,尤其在資料堆積得越來越高的時代,我們有時也難以把人的智慧清楚傳達給機器,甚至我們懂得比我們能表達出來的多,比如很難定義「游泳怎麼游」,要訂的規則實在太多,但是深度學習的不確定性,意味著說不定能夠捕捉更多我們「還未察覺」的訊號,將任務做得更好、更快、更精準。

AI並非移除不確定性,但是可以「更了解世界」。財務上我們也不會說我們在「消除風險」,風險無法消除,我們做的事情就是「規避風險」,比如避險基金(Hedge Fund),該發生的就是會發生。

甚至有人說「降低風險」是移除風險,這也是錯誤的,降低風險本身就無法跟「本來的風險」比較,因為這同時也把獲益放在槓桿上,調整風險的同時限制了自己的收益。投資人並非做了比較好的決策,只是將風險調整到自己可以接受的範圍內,並且默認了對應的理財模式。

談到這裡不得不提金融學本身的智慧,在財務管理中有兩個名詞,return and yield ,看似都是代表「收益」,但是背後的意涵又有所區別,有興趣的人可以看看這篇investopedia的名詞解釋,連結一下自己對AI的理解看看。

我直接舉金融商品為例,通常談到yield我們會聯想到債券殖利率,債券這個商品受到利率的影響因素大,最大的風險也是利率風險。

但是return又讓金融玩家之間的差異更明顯一點,因為return其中的capital gains,大部分都是基於各式各樣的預測與財務評估方法賺到的,而return的風險來自於各式各樣的財務風險,諸如「組織、競爭環境、產品、投資人」等因素構成的風險。

所以常常在財經文章上看到的「股債64比」、「股債黃金244」之類的資產配置(聲明:此比例乃隨意舉例,不構成任何投資建議),其實就是在權衡「各式各樣的風險」,佐以其他因子所預期的「可接受風險下報酬最大化」,這是不是就很像AI中的「保留不確定性以最佳化分類/迴歸效果」呢?

風險,或者說不確定性,可以協助企業做出更好的決策、優化模型與AI,這點我們從金融那激烈的交易市場上其實就可窺知一二,我總覺得,接受「不確定性」正是一個工程師/科學家 從實驗室走向商業世界,一個經理人從商業世界學習進入實驗室中「交互跨界」所要學習的最大課題。而巨量資料所培育的越來越強大的AI,正是這界線的交叉口。

reference:

歡迎想對企業人工智慧轉型理解更深入、希望培養與深入學習數據分析、合作相關的讀者e-mail我:)

有其他問題都可以底下留言。

歡迎想學習Python資料科學、商業分析、金融知識的人一起交流!本部落格的內容全部都是基於「分享」的實作、理論兼顧文章,希望能夠幫助到所有對資料科學領域有興趣的人們,長期關注可按左手邊的Follow!若喜歡我在 Medium 的內容,可以拍個手(Claps)這邊想做個實驗,好讓我知道你/妳喜不喜歡這篇文章:
拍 10 下:簽個到,表示支持(謝謝鼓勵!)
拍 20 下:想要我多寫「商管相關」
拍 30 下:想要我多寫「資科相關」
拍 50 下:我有你這讀者寫這篇也心滿意足了!

敬請期待下一篇!或是您也可以逛逛我的其他資料科學文章:

人工智慧商務系列:

Python資料科學系列:

看我用金融的概念解釋AI:

如果想跟著我實作資料科學,開始寫程式必知必會基礎系列:

--

--

戴士翔 | Dennis Dai
Finformation當資料科學遇上財務金融

外商分析顧問,Ex- Apple Data Scientist,曾在FMCG巨頭/日商管顧/MBB管顧/高成長電商從事商業分析與數位轉型,專注分享管顧、商業、數據分析的思考。分析/演講/合作歡迎來信:dennis.dai.1011@gmail.com