[ptt上,一篇討論chatGPT卻錯誤百出的文章?]

--

昨天凌晨在tech_job版上看到一篇討論chatGPT的文章(圖一),文中舉了一個chatGPT出錯的例子。然而,我仔細一看才發現,他還在用gpt-3(chatGPT試用版)的生成結果?

我馬上上去留言,丟了chatGPT-4的生成結果糾正他!結果今天中午發現留言被刪了,直接氣到來發文。由於文章太長了,我就只針對前半部分的錯誤內容來討論。


#0

先聲明:雖然我2021年就跟台積R&D做過一個gpt3的計畫和暑期實習,但我的本業還是電子設計相關、僅止於”上課學過gpt3"的程度、鮮少讀gpt相關的論文。以下討論,更多會站在chatGPT使用者角度!


#1 AI的原理?

原作者這裡的說法,跟曲博類似,大意是chatGPT並非真的理解語言,僅只是從調整參數的角度,輸出一個(讓人類滿意的)機率最高的下一個字。但我並不是很同意這種說法,至少“湧現”這現象還很新穎、沒有定論。

雖然這還沒有定論,但可以從另一個角度來看:

人類也並沒有真的理解語言,僅只是從神經傳導物質的角度,經由神經元之間的信號傳遞,在多次學習試誤後,回答出相對正確的內容。

從我在使用chatGPT的體驗中,我比較偏向它有理解、思考我的問題。換句話說,我認為DL模型是一種仿照大腦神經元運算思考的模擬。chatGPT一開始或許會不明所以地講出一些正確率高的字,但久而久之還是要學著理解問題,甚至是思考答案,才能夠讓正確率更上一層樓。(雖然我沒有證據)


#2 1+1=3?

不管是AI或是人類,只要你從小教育他1+1=3,他就會學習到“1的後繼數是3“這件事。換言之,在他的世界中,自然數就是1,3,4,5,6,…。

你只能夠說他的符號和你不一樣,或者是他從小學習的內容有錯,但不能說他沒有在思考。而且AI和人類一樣都有“從錯誤中學習”的能力。


#3 張飛是誰?

這個例子舉得又更差勁了。很多人都還停留在去年11月chatGPT”試用版“剛被推出來的時代。當時,chatGPT確實很容易被抓到一些基本的錯誤,比方說原文中的圖片。

然而,今年3月推出chatGPT-3.5以後,甚至是付費版的chatGPT-4以後,chatGPT的表現好了不只一個層次。比方說,圖二就是我把同一個問題丟給chatGPT的答案。顯然,他可以查閱出張飛的背景知識,並且分類張飛的人物屬性、以及理解張飛和詩人的不同!

我也在這邊建議,以後如果要抓chatGPT犯錯的朋友,請先升級成付費版以後再來抓bug。而且,chatGPT固然會記錯知識、講錯話,但人類也會記錯知識、講錯話啊!XD

--

--

梁峻瑋(Nick Liang)

這裡是我臉書文章的整理備份區,臉書個版 https://www.facebook.com/profile.php?id=100000375766658 (學歷背景:NTU EECS MS -> EDA Phd)