我們與 AI 的距離：GPT-3 自然語言處理模型神話破滅了嗎？
前幾個月自然語言處理模型 GPT-3 問世在 AI 和機器學習圈引發人類是否會被機器取代的討論熱潮。我在 7 月時也寫了一篇文章「GPT-3 問世-語言服務工作者要被機器取代了嗎?」 來蹭蹭熱度。（如果你還不清楚 GPT-3 是什麼，可以參考此文。）
Bitcon 論壇上 GPT-3 寫的文章將 GPT-3 推向了神一般的地位，好像只掌握了 GPT-3 在 AI 世界就無所不能。但最近 AI 領域的 KOL (Key Opinion Leader) Yann LeCun 在臉書上發表長文直接戳破 GPT-3 的神話。
貼文第一句就說：
Some people have completely unrealistic expectations about what large-scale language models such as GPT-3 can do. (有些人對於 GPT-3 這類大規模語言學習模型有著不切實際的期待。)
我在 7 月份的文章中也寫到，GPT-3 厲害之處在於：
1. GPT-3 是通用模型，不像 AlphaGo 只能下圍棋，只要是在自然語言處理的範圍內，使用者簡單提示，GPT-3 就可以自動輸出各種領域類型的內容。
2. GPT-3 是目前學習參數(parameter)最多的語言處理模型。相較前一代 GPT-2 擁有 15 億個學習參數 ， GPT-3 的參數增加到 1750 億個，參數增加了 117 倍，也比微軟的 Turing-NLG (170億個參數) 多了 10 倍。
GPT-3 就是在自然語言處理的範圍 & 神經導向學習模型上厲害，照理說 GPT-3 有強大的文本生成能力，只要給出文字提示，GPT-3 就可以依照先前脈絡給出下文。
但我先前也說了GPT-3 可能造成的問題或隱憂：
1. GPT-3 沒有道德意識。OpenAI 去年發表 GPT-2 時就承認 GPT 可能會產生欺騙、具偏見、辱罵等文字。(這也是為什麼 GPT 是封閉測試，避免技術被極端主義團體利用。)
2. GPT-3 會衍伸相關法律問題。技術永遠走的比法律快，各國政府應該如何監管 GPT-3 產出的內容? GPT-3 產出的內容造成問題該找誰求償? 產出的內容智慧財產權歸屬等等。
3. GPT-3 可能會越學越笨。GPT-3 通用模型的特性會使得產出內容擴散，影響模型學習，也就是我常說的 garbage in garbage out。
Yann LeCun 以 Nabla (一家醫療 AI 公司) 對 GPT-3 的測試結果為例，證實了我對 GPT-3 的疑慮。Nabla 找了醫生跟機器學習工程師組成測試團隊，從醫學和機器學習的角度，從醫病互動、醫療保險查詢、心理健康支持、處理醫療文件、進行醫學問答和醫學診斷等方面來測試 GPT-3 的能耐。
從結果看來，從 AI 問答系統的角度來看，GPT-3 的反應讓人無語…
Nabla 報告中讓我印象最深刻的例子是，患者說想自殺，結果 GPT-3 居然回：恩，我覺得你應該去死 …這就是經典的，沒有道德意識、沒有設定類似機器人三原則造成的問題。
另外，由於 GPT-3 的學習參數雖然大，但並不專精，從專業的期刊文章到網路上的路人推文都有。所以當 GPT-3 在處理不同任務時，可以依照海量的學習參數「算出」相應的答案。但問題也就在這裡，GPT-3 只是通過統計方法建立連結，而不是真正理解語意產生邏輯，因此很可能產生答非所問，甚至讓人啼笑皆非的結果。
Nabla 報告中也顯示醫生利用 GPT-3 進行診斷必須負擔極大的風險。以下圖為例 ，GPT-3 直接忽略了「發燒」(fever)這個症狀，而且「紅疹」(rash) 從未在問答中出現啊…(怎麼無中生有了起來…)
因此，Yann LeCun 對 GTP-3 下的評論為：
GPT-3 doesn’t have any knowledge of how the world actually works. It only appears to have some level of background knowledge, to the extent that this knowledge is present in the statistics of text. But this knowledge is very shallow and disconnected from the underlying reality. (GPT-3對世界的實際運作方式一無所知。 GPT-3 只具有一定程度的背景知識，而且只將這些背景知識放在於文本統計中。 但這只是表層知識，基本與現實脫節。)
至於 GPT-3 到底能不能取代人類? Yann LeCun 的比喻也很有意思：
But trying to build intelligent machines by scaling up language models is like building a high-altitude airplanes to go to the moon. You might beat altitude records, but going to the moon will require a completely different approach. (試圖利用大型語言模型來構建 AI ，就像想利用一架超強噴射機登上月球一樣。超強噴射機可能會讓你打破飛行海拔記錄，但沒法讓你登陸月球的。)
對於機器是否能取代人類這個老問題，我的想法跟觀點還是一樣：重點在於我們要用什麼態度來面對? 我們是否了解機器的特性和優缺點? 儘量避免跟機器搶著做機器比較擅長的事情，擇優汰劣，順勢而為，自然就不會有被淘汰不淘汰的問題了。
目前雖然有人開始吐槽 GPT-3，但不可諱言 GPT-3 仍是 AI 領域各路人馬討論論的焦點。
Yann LeCun 對 GTP-3 的評論在 Hacker News 上仍有很高的討論度：https://news.ycombinator.com/item?id=24907318 。有興趣的人可以繼續觀察後續發展~
