人工智慧應用到商業分析的三點設計架構

規劃團隊,踏出正確AI化的第一步

導論

本篇文章中會以我目前學習AI技術、商業思維得出的思考點來評析商業智慧案例。內容參考了許多國內外決策專家的觀點(包含人工智慧、運籌學、精算統計),我將它們總和起來,配合自身實作資料科學的經驗,給出一個商業轉型的設計架構。

這篇是寫給管理者、有志於導入人工智慧到自身企業的決策層、資料科學團隊的人工智慧商務系列第三篇,推薦先閱讀前面兩篇,會讓您更了解「數據」的本質與商業的結合。

那麼,正文開始:

如果害怕被AI拋下,那就應該深入思考「如何落地」

知道大家談論的機器學習是什麼嗎?深度學習又有什麼不同?在認識這些所謂的”buzzword”之前,我們都了解到有越來越多的企業、組織、團隊在使用AI的技術來幫助商務進行。就目前而言,AI的學習似乎是當務之急,管理者在學習之外,必須謹記AI的商務應用是依賴於「實踐」之上的,企業成立自己的人工智慧實驗室之前,可以藉由「最小可行性」的精實原則來試驗AI投入到自身商務案例的效益。

畢竟商業環境中的資源有限,沒有整個組織的支援、政策,我們必須仰賴好的開發思維與商務專業來做效率性的人工智慧方案,以便快速修正與檢討解決方案的效果,同時因為屬於自己的領域,方便向決策者、管理者溝通與檢討。

那麼一個好的商務實踐方案該如何設計呢?

我們的設計架構如下:

資料準備

結合商業模型

商務環境與模型追蹤

資料準備

真實世界的數據往往很髒、非常dirty

乾淨的資料是企業做Business AI的第一步,如果不清楚為什麼的讀者,可以參考這篇文章

什麼叫做「乾淨」的資料呢?

還記得我第一天到中研院資訊所時,拿到企業合作的資料,我們的第一句話便是:「請問資料是乾淨的嗎?」

過去企業的資料往往經過多個部門的使用與生成,使得資料難以使用。觀察敏銳的企業,已經從組織結構上著手,慢慢成立數據部門與研究中心,這其中尤其是金融業的變化與反應最為快速,比如國泰金控的數數發中心與玉山金控的智能金融處

P.S. 這兩家金控真的很積極,目前在T-brain的資料科學比賽平台上,就是他們兩家在主辦金融領域的資料科學賽事:

有機會在寫我的參賽心得與解決方案,最近還有上禮拜都在忙國泰的比賽:)

回到正題:

那資料品質有什麼比較好的檢查方式呢?基本上我認為資料的管理還是要依靠整個團隊的數據共事方式,不過從資料工程的角度,通常會考慮:

  • 資料的收集簡單嗎?

這邊的資料收集方式通常是說raw data(毫無加工的、直接從產生方式收集過來),假設說raw data沒有一個穩定的系統在做供給,資料可能會有「缺失」的品質缺陷。如果今天在做分析,處理缺失值往往是個讓資料科學家蠻頭痛的問題。

  • 資料夠大嗎?

其實也不用「大數據」才能做分析,但是「要多大?」,有些人可能會想:「資料不是越多越好嗎?」並不盡然,如果團隊的資料分析人員沒有太多經驗或者訓練,看到幾百欄位的數據可是會頭昏眼花的,更遑論聚焦分析。同樣,如果資料之間大部分都沒有差異,太多無用、無意義的統計只會造成運算資源的浪費。

  • 資料的可理解性

這個資料問題,最典型的發生場所就是製造業、工業、化學界,我曾經做過一份製造業的生產數據分析與模型,資料大概是長這樣:

A1 ~ A27 ,看不懂!

雖然有資料的解釋對照表,但是看在非領域人士眼中其實跟上面這些欄位描述符號差不多,那這份數據做出來的模型,要怎麼呈現?要怎麼解釋?無法解釋就難以讓人信服,工業界可能還可以用良率、產能來說明模型的效果,但如果是一份商業數據的預測,複雜的成本管理、評估效益的不確定性,很難讓人根據此來做決策、或者決定這樣改善商業流程。

無法解釋,容易讓數據分析淪為「看看就好,難以產生實際行動」的結果。

金融業也是如此,眾多分析師的報告如果只有「因為MA15的支撐線」、「出現空頭吞噬的徵兆」這些沒有專門領域就難以理解的名詞、難以驗證正確性的學說,很容易變成「參考看看,不會拿來做投資決策」的報告,也的確有很多分析師、很多沒用的金融報告,自成一派的學說與個人投資經驗讓投資者難以使用。

說真的看了一整頁的財經新聞,許多人可能連下一步要幹嘛都不知道。姑且不論個人金融知識,這其實也是「資料品質的問題」

這也是管理者必須開始實踐的事情:

我們團隊有沒有資料字典可以看?」可理解的資料是很重要的,在新人加入時,有一份可以參考的數據指南,也可以讓他們儘速熟悉業務內數據、知識以及該注意的地方,所以「建立自己商業領域的數據指南」可能就是您現在可以馬上開始做的事情。

  • 資料維護

資料維護比起程式碼的維護其實簡單不到哪去,但關鍵的核心其實就是「了解資料間的關係」。

很多資料表經過不同團隊的手,已經產生了運算資料(根據raw data產生的資料)與非運算資料,如果我們理解了資料之間、資料庫之間的關聯與產生方式,就方便做資料維護,這部分可以用ER-diagram來輔助(有興趣的人可以學習「資料庫管理」這門學科),畢竟現在大部分的工商業數據都還是高度標準化的,將標準化資料間的關係建立好有助於維護資料與分析。

結合商業模型

AI在企業落地的最大推手,就是上下一心!

取得內部支援

再一次重申,商業環境的資料科學要產生行動、分析勢必得爭取組織資源,內部支援的談判籌碼可以根據專案的大小來規劃,似乎很多產業都在做大數據,但是臺灣目前其實大部分的「大數據」都還是基於很簡單的統計方法,比如熱門商品統計、網路聲量統計,因為這些資料的統計都相當簡單、而且可以「獨立完成」。如果是一個分析專案、推薦系統規劃、關鍵字報表…..等企業上下都可以使用的數據產品,沒有不同部門的整合是很難靠一個小小團隊就可以推動的。

對團隊的影響是什麼

自動化工程、降低成本、還是增加資料處理能力?以保險業為例,一個「保險對話機器人」在保險商品的規劃上似乎很方便,但會不會讓人失去對業務員專業能力的信任?

又或者一個長照AI似乎達到了「長期陪伴、照護」的效果,但是失去了「長輩想要與人互動」的溫度,這些對產品本身的衝擊又是什麼?

不是AI化就保證產生商業盈利,在商學院中有一個知識點是「客戶衝擊」,有些客戶無法適應產品的升級、改版,進而流失,這樣對自己的商業會造成不好的效果。

這一點其實屬於風險管理的範疇,在創業早期的數據分析會著重在風險管理的分析,因為還在摸索業務的階段,仍在尋找業務與定價的甜蜜點。如果是成立較為年輕的團隊,必須格外認真評估「商業衝擊」這一點。

將商業問題轉為機器學習問題

沒有被人定義好的問題人工智慧也無法解決,成功的人工智慧案例,背後都有個定義明確的問題。

這一點其實很難,非常考驗團隊的資料科學家水平,通常要訓練這點,一個資料科學家必須跨足商業分析的知識、追蹤大量機器學習的商務案例、更新自己的sense。當能夠試著聯想相關的機器學習演算法看問題,其實就是不錯的洞察培養。

目前比較多組織的做法是由產品經理、專案經理與資料科學家討論、溝通來定義好商業問題並轉化為資料科學的問題。所以如果發現團隊的資料科學專案表現不優,其實可以拆分為兩個大面向來思考:

  1. 是解題的方法差?
  2. 沒有提出好的問題?

並不一定都是資料科學家的錯,而是沒有正確認知到問題本身。

對資料產生敏銳度

資料一直產生、一直更新,它的保質期其實很短,一個模型也容易因為「數據中毒」(data poisoning)或者其他異常值產生奇怪的結果。試著想想,如果一個電商網站的推薦系統老是推薦自己不喜歡的東西給自己、或者不存在差異化,體驗會有多糟糕?

模型容許誤差

容許一定的差異,追求而不是要求

資料科學跟統計學有很深的淵源,而統計是一門容許誤差的學科

之前上迴歸分析的時候,授課的江教授就分享一個案例:

他剛統計博畢時到藥廠上班,那時候做生物統計的第一個禮拜非常痛苦!因為自己本來的數學思維強過統計思維,簡單來說,他那時候沒有意識到統計是容許誤差的、是一門非常應用的學科。要找到一個「保證最佳」的方法來處理資料、「最優」的結果並不可行、不可證、不可取得。

同樣在精算領域,常見的委託有一個是制度的規劃,比如說退休金撥款制度。這種大型法人專案需要考量的變數其實很多,那精算師在這裡扮演的角色是什麼呢?其實不一定是給出一個數字、統計出一個概率,而是設計出「這個專案怎樣算有效?

容許誤差、設計一個好的評估方案會比追求上帝視角的超神準模型實際得多。所以團隊有必要訂定一個可以接受的準確度、閥值來定義「何謂有效?」這個benchmark通常也需要業務專家來訂定、設計一個合理的指標。

商務環境與模型追蹤

接下來的環境變動,都是我們要注意的

身處一個產業,其實很容易緊盯競業而迷失方向。

好比一個團隊要做外送業務,沒有價格補貼很難從紅海殺出一條路。難道競爭對手補貼我們就要跟著補貼嗎?

這還要考量到自身資本額大小、商業目標、產品核心、目標族群等等一堆商業問題,每一個決策都受到許多變數的牽制,所以商業分析這門學科在商業環境裡面,跟資料科學其實是分不開的。

一個例子是文創電商Pinkoi,在許多通路電商都大肆造節的時候依然保持自己的風格、不跟節慶,舉辦的活動也走出自身定位,這其實就是一個很好的商業分析個案。

結論

機器學習與深度學習是嶄新商務模式的重要推手,比如近幾年興起的平臺經濟、DaaS、新零售等等buzzword,確實很火熱,因為他們可以走向未來商務的創新、應用網路產生的巨量資料協助與支撐產品、服務本身。

商人的確變得更善於利用數據了,許多網站經營者談論Google analytics、SEO,行銷人談論Google trends、Social analysis,這些基本的數據思維往往是AI化的第一步,但是大學研究所的課程其實很少會教人怎麼應用人工智慧與資料,往往都是很technical的技術。而商學院的教授也大多著重應用方面的東西,對技術了解得不深。我們需要自己額外吸收知識,補足自己比較弱的地方。

資料科學家除了需要培養商業與業務的理解力,管理者也需要理清:

並非人難以解決的事情,交給人工智慧便能順利解決。

AI在解決問題方面著力點完全在於「人有沒有準備好」。

但是競爭環境不會等自己準備好,所以要追逐的不是一些虛幻華麗的名詞、不是開始讀大頭部的數學課本、更不是報名電腦教學班學寫code,這些都是執行層面的問題,優先度最高的事情,是認清自己的商業環境,讓團隊與資料「做好準備」。

歡迎想對企業人工智慧轉型理解更深入、希望培養與深入學習數據分析、合作相關的讀者e-mail我:)

有其他問題都可以底下留言。

歡迎想學習Python資料科學、商業分析、金融知識的人一起交流!本部落格的內容全部都是基於「分享」的實作、理論兼顧文章,希望能夠幫助到所有對資料科學領域有興趣的人們,長期關注可按左手邊的Follow!若喜歡我在 Medium 的內容,可以拍個手(Claps)這邊想做個實驗,好讓我知道你/妳喜不喜歡這篇文章:
拍 10 下:簽個到,表示支持(謝謝鼓勵!)
拍 20 下:想要我多寫「商管相關」
拍 30 下:想要我多寫「資科相關」
拍 50 下:我有你這讀者寫這篇也心滿意足了!

敬請期待下一篇!或是您也可以逛逛我的其他資料科學文章:

看我用金融的概念解釋AI:

如果想跟著我實作資料科學,開始寫程式必知必會基礎系列:

--

--

戴士翔 | Dennis Dai
Finformation當資料科學遇上財務金融

外商分析顧問,Ex- Apple Data Scientist,曾在FMCG巨頭/日商管顧/MBB管顧/高成長電商從事商業分析與數位轉型,專注分享管顧、商業、數據分析的思考。分析/演講/合作歡迎來信:dennis.dai.1011@gmail.com