Sobi

透過電腦會選土豆......也可以當AI醫生(上集) 的介紹,大家明白透過機器學習,電腦可以影像辨識土豆好壞,也能辨別腫瘤,究竟?AI醫生為何至今仍不普及呢?

接下來,我們現在就是要來釐清是目前AI的『能』與『不能』,

『能』判斷「單一」問題:判斷異常細胞?判斷土豆級別?

『不能』判斷綜合性問題:重大疾病等癌症診斷往往需要跨專科共同會診。而電腦擅長的是回答單一判斷,無法像是人們見招拆招,單一線索無法判斷時,懂得尋求更多線索。

也許你會說,那就先好好訓練電腦練習單一判斷的疾病,之後把需要跨專科的疾病慢慢理出個頭緒規則,再進行機器學習啊!聽起來真是頗有道理,但是~事情真的沒那麼簡單!

先來簡單的!關於單一判斷,我們再複習一次機器學習的過程和兩個關鍵問題,就能說明培養AI醫生之長路漫漫。

Machine Learning vs. Human learning 人類學習 vs. 機器學習

1. 準備訓練資料:標注資料量是否足夠?誰來標注答案?

大量標注資料有兩大特色

**取得成本高昂

**需要領域專家大量時間

誰能幫醫療影像標注答案呢?答案是:醫生。只有醫生才可以。

誰能幫土豆標注答案?答案是:農業專家,或是市場各路好手。

標注資料就是請領域專家教導電腦學習:看圖片給標準答案。也許在農業領域中,能給辨別土豆的專家稍微多一些。但是在醫學領域中真的是困難重重,原因有二

  1. 醫生時間寶貴

因為需要很多專家的時間,工作內容又很無聊,更何況是醫生專業養成之路漫漫,標注資料的時間精力不如去看診寫報告。

2. 乾淨的數據本就與真實的臨床場景不吻合

為了要讓電腦確實學會各種狀況,最後去蕪存菁的訓練資料中可能無法涵蓋臨床場景。

電腦就是很單純,太髒太模糊的教材學不會。人類就可以處理很多模糊混屯狀況,比方說:I loooove you,人類可以解讀為I love you,這絕對沒問題,甚至還會把單字love 中間多出來的ooo當成是強調語氣,但是電腦的強項就不是靈活應對,的確學得又快又準但是無法隨機應變,沒教的就是不會回答。

光是在第一步準備資料給電腦學習,資料科學家心就很累了……有多累?

來來來,這裡有個很著名的失敗案例
Google健康「3年敗局」內幕:憋屈的CEO、自大的工程師、狂熱的信徒

這篇文章精彩好看,提到各方角力難以合作,不過這種文人相輕的狀況不會是只發生在AI醫療,所以就不在此討論,文中提到機器學習應用在醫療場景的問題,就是現行發展的瓶頸。

2. 預期的正確答案:什麼是正確答案?

我們都希望所有的問題就會有正確解答!但事情不是想像中的簡單啊!
相較於醫學,農產品的影像辨識的正確答案是簡單明瞭的。人類疾病演化之複雜,COVID-19從2020至今到底變種了幾次?如果沒有良好的學習回饋機制,潛藏的變種疾病可能就被誤判,疾病誤判的代價遠遠大於土豆沒揀選好。

所以,電腦真的可以當AI醫生嗎?

AI 使用情境不一樣,結果大不同

對機器學習來說,辨識土豆跟腫瘤是一樣的學習流程,但是對人類來說可不一樣,因為使用情境不一樣,牽涉到的層面也大大不一樣。土豆選壞了就讓人工再挑一次即可,沒人會去告農會怎麼高價收購這些爛土豆,但是一次醫療誤判牽扯到的是人命關天,不只是統計數據而已。

AI的應用會不會取代人類?

每當AI有突破性發展的時候,比方說1997年IBM深藍, 2017 AlphaGO打敗世界圍棋冠軍。類似的標題又再度成為話題:AI 將取代人類50%的工作?人類創造的AI會失控嗎?

對於AI的發展,我喜歡唐鳳的註解:
現階段的AI應用還在Assistant Intelligence」(輔助智慧)並不是Artificial Intelligence (人工智慧)。
出自:博恩夜夜秀 不管觀眾了!與唐鳳度過一段只屬於兩人的甜蜜時光

從5:03開始談論AI應用

目前發展看來,AI 確實是好用的工具,取代人類完成很多無聊單一的工作,不過疾病診斷往往需要跨科別會診,到底要跨幾科?跨哪些科別?跨的科別不同也許造成診斷結果的不同。也許你會說深度學習(deep learning)可以加入呢?這是更高階的機器學習,透過環境變數達到動態調整。不過還是回到老問題,疾病的診斷也會因為醫生的資歷,不同跨科別會診的結果而有所不同。現狀還未把跨專科變成當成訓練參數,

模擬診斷的情境變數複雜和資料取得不易,都是發展AI醫生的瓶頸之一。

AI肯定是醫生的好幫手!

訊號辨識,分類,分群,預測發生機率.....這從我唸大學以來的熱門研究題目(居然都十幾年了><~)都已經成熟發展在各種領域:用戶路徑預測,醫學影響辨識,電腦作曲.....,想當然爾,這些AI技術應用在醫學的確是可以節省人力幫上許多忙,但還只是停留在小幫手階段,畢竟醫師完整專業之路養成都如此困難了,要集結名醫們的畢生精華教導電腦學習,不是難上加難嗎?

我想像著AI發展極致大抵是HBO影集『西方極樂園』,接下來會發生什麼都已經逃不出劇本預設的N種發展路線。這大概就是深度學習的終極版本吧?但......人世間的變數如此之多,我們現在連COVID-19何時會結束都無法預測了><~

AI發展終將如何?這不好說,但可以確定的是未來幾年內在廣告文案, 提案計畫,產品名稱只要有AI 應該還是會有很多人買單:)

資料科學小教室,我們下次見!

--

--

很久很久以前,愛之味牛奶花生湯有個經典廣告

吳念真跟阿嬤得意推銷:這是電腦揀的喔!

阿嬤吃驚:電腦嘛ㄟ揀土豆!

這是80年代的台灣,電腦對於大多數的人來說非常非常遙遠,大概只比發射衛星近一點,好啦!其實沒那麼遠,但電腦應用的確不普及。

到現在呢?這是一個很常見的AI應用:利用電腦分類農產品的等級,用的關鍵技術就是影像辨識,使用情境很多元,從判斷番茄是否生病啦?到捕撈到的是什麼魚?甚至是看起來都長得一樣的樹都可以藉由影像辨識來告訴你!這說來頗為神奇,20年前的廣告台詞已經很成熟地應用在我們的生活中,這就是機器學習Machine Learning!讓電腦來學習人類的技藝和知識,好讓機器代勞這些繁瑣規律的工作。比方說挑揀土豆!

如何教會電腦『辨識』的工作呢?

將人類學習過程套用到電腦學習!回想童年的我們都如何學習應付考試呢?

人類學習Human learning

其實就是唸書 ->寫習題 ->考試->訂正考卷的過程,透過多次小考反覆練習之後,期待大考時的一鳴驚人。所以,教導電腦學習也是相同流程

--

--

很久很久以前,流傳一個大數據的神奇故事,美國超市發現,在每個週五晚上,買完啤酒的年輕男人們,都會順手買尿布。

就是這個都市傳說!電商平台的各級老闆都說推薦系統裡一定要有這種功能才是威!話說這到底是什麼功能?就是 see also see: 看了商品A也會看商品B。期待你進來買了A也可以順手帶走B,重點就在B到底怎麼被挖掘出來?

老闆一句話,PM和工程團隊展開“ see also see: 看了商品A也會看商品B”的推薦之路。其實這就是協同過濾(Collaborative Filtering,簡稱CF,有興趣可在網路上找到非常多的實作文章,不在此贅述)的核心價值之一。

話說當年啊~我可是在一個實力堅強的資料工程團隊(台灣最大的入口網站),每天處理千萬筆資料,我們真的老老實實用協同過濾做出推薦系統,怎麼不見啤酒尿布的驚人關聯呢?協同過濾都找出了什麼啊?用戶買看了衛生紙,通常就是看更多衛生紙,看了裙子就是看更多裙子……幾乎所有的熱銷商品,都會推薦同質性同分類的商品。

某天,PM 頭頭兒把我們這些小毛頭找去,指著電腦上的商品頁:BU老闆今天在會議上分享他在其他購物平台上看了咖啡機就推薦咖啡豆耶! 你們也可以試試看弄個看手機就可以推薦手機套?這類的吧?

我們這些當工程師的,就是這麼性格直率,說一是一。好!二話不說,大家當下打開電腦,黑畫面叫出來,秀出程式碼,上上下下檢查了一輪,「ㄟ,報告,算出來的結果,資料就是這麼一回事啊….」

此時,PM頭頭兒眉頭一皺,馬上就來個政令宣導:「真實資料算出來的推薦,的確是看得出商品的關聯性啦,可是….逛手機的客人來,你們還推薦手機,這樣就是太相似而沒有驚喜嘛!啤酒尿布的故事不必我再說了吧?揣摩一下老闆想要有點驚喜(!)但是不要驚嚇(?)的推薦。

用資料科學的專業角度解析:驚喜 vs. 驚嚇

資料科學的第一步!讀懂人心,轉換成資料視角

驚喜就是:必須相關 (relation),但不要都是相似(similar),最好有多元性diversity。至於驚嚇呢!看了菜刀,推薦童軍繩,這樣就太驚嚇。文章後面會有個實際例子來說明。

用資料科學猜透你的心:驚喜又合理!

如何驚喜又合理?推薦系統中的各種難:相關, 相似和多元

原始的 see also see,是item to item(商品在推薦系統裡稱為 item),瞄準的是item本身,網頁瀏覽行為中人們會看同一個商品而逛了很多類似相同的商品,分屬於不同價格不同廠牌不同店家。

為了達到啤酒尿布的驚喜效果,就是要跨出同分類,找不同分類的關聯性,創造多元性

如果電商網站裡100個小分類,要找出兩個高度相關的分類,就會有

100*99 = 9,900 種可能性,此為考慮先後順序,先看A再看B先看B再看A 視為不同。

或是

100*99/2 = 4,950 種可能性,不考慮先後順序,先看A再看B先看B再看A 視為相同。

實作的結果如何呢?不管是在瀏覽還是購買記錄中尋找,都有接近七成關聯是在同一個分類底下,其他的三成又太過分散,不足以證明兩個分類高度相關。PM頭頭兒不信邪,提出了找手機(主機分類)給手機套(配件分類)的題目,很不幸,高達八成用戶真是一次很多主機,或是一次兩台主機,主機+配件的比例少到不足以成為規則。

分析失敗的可能因素如下

  1. 資料不足: 3C產品非該購物平台的主力,無法累積夠多資料,太稀疏的資料很容易被幾筆資料影響。算出來的相關性造成的就是驚嚇而不是驚喜了
  2. 商品分類錯誤:就是資料不乾淨,因為購物平台是由眾多供應商上架,上架的分類若和購物平台不一樣,就會分類錯誤。分類錯誤當然找不出主+配的黃金組合。

但,商品分類關聯性還是有的,我真的找到了!不過這美麗的發現存在於18禁商品的分類中,就是主機(震動機器)都會配上保養品(某種潤x油),這個關聯算出來的時候,身邊的男同事無不會心一笑:某主角就是推薦這個組合(某振動器+某種油)啊!更好玩的在後面,看完主機,還有一個高度相關的分類:營養食品。說來這也相當合理,運動之後的營養補給是必須的><~ 資料驗證了黃金組合之外,還帶有驚喜的發現:運動+營養補給,多元相關又合乎常理,不過,畢竟是全台灣最大的入口網站嘛,不能推銷18禁,否則這就太驚嚇,於是乎這黃金組合就默默地躺在我的電腦裡了。

故事結束了嗎?還沒還沒,再回顧一下啤酒尿布的故事

美國超市發現,在每個週五晚上,買完啤酒的年輕男人們,都會順手買尿布。

剛剛只分析了商品item 尿布跟啤酒而已喔,用戶本人還沒被考慮進來

還有用戶輪廓(年輕男人)跟時間分析(每個週五晚上)還沒加進來

**用戶輪廓:年輕男性

1. 性別:男生,女生,不分,3種

2.年齡:14-18, 19-24, 25-30,31-35,36-40...... 10個年齡層

用戶就有3*10 = 30種輪廓

**時段分析:每週五晚上

1.週一到週日:7 天

2. 時段:早上,中午,下午和晚上,4種

時段就有4*7 =28種

分類*用戶輪廓*時段 : 4,950 * 30 * 28 = 4,195,800

這還只是以分類(較大角度)來看,就已經有百萬種可能性了,若無上億用戶瀏覽資料很難支撐起啤酒尿布的美麗發現。

到底為什麼啤酒買完會順手尿布?

原來,故事發生在美國的Walmart 超市,年輕爸爸們,星期五晚上常會奉太太之命去買尿布,到了超市後,一想到晚上要看球賽,又順便拿手啤酒回家配。於是,尿布和啤酒的銷售量都增加

行銷故事動人之處就是說起來就是讓人恍然大悟地會心一笑,但是在資料科學家眼裡看來一點都不簡單,要理解商品屬性的相關和相似之外,掌握用戶輪廓,時段分析,還要有足夠資料量,資料必須乾淨,更重要的是讀懂老闆的心(要相關,又不能都是相似,還要多元,三個願望一次滿足),所以說,踏入資料科學,這…..水很深啊!

資料科學故事好玩之處就是說起來就是頭頭是道但笑中帶淚,名為科學實為猜老闆心思(誤),高度與人性整合的科學能不有趣嗎?

資科科學小教室,我們下次見!

--

--

Sobi

Sobi

唸過幾年文學院,寫過幾年程式,摸過各式各樣大資料小數據,存在雲端還是在本地端的都處理過。喜歡聽故事,也喜歡說故事,經歷成功的資料科學故事也許不多,但有很多成長的故事可以說:)