破解 GPT 的記憶挑戰:GPT 能做什麼,不能做什麼?

Sigrid C.
MDBros
Published in
5 min readJun 23, 2024

就像我們開藥或治療處方,需要知道適應症、禁忌症與這個治療手段的極限,我們才能跟病人討論它能解決什麼病痛、處理到什麼程度。同樣地,我們需要知道 AI 與 ChatGPT 可以與不可以做什麼,才能設想我們能使用它來解決問題的痛點與限制。基於 Transformer 的技術限制,GPT 最核心的問題是「記憶」,俗話說的「金魚腦」,只能記住特定 Token 長度的訊息內容,超出其 Limit 則 GPT 就會忘記,而一旦忘記了,就永遠找不回來。許多工程師都在研究如何讓 GPT 增加 Token Limit,或技巧性地讓 GPT 能夠記住超出 Token Limit 的內容(如超出 Limit 以前,先總結目前的對話內容來保持更新),但我們最好的做法應該是認知、承認到這點局限性、不強求,把這個問題當作是現階段正常的現狀,調整與 GPT 溝通對話的習慣(例如:經常從頭開新的對話視窗,而不是硬要去重複測試 GPT 究竟有沒有記住、想起來之前的內容);總而言之,GPT 的記憶內容被打斷時,最好的解決方式就是從頭來過。

✔ 在自然語言處理(NLP)有重大突破的 GPT 可以做到什麼事呢?

➊ 傳統的程式碼及資料庫大多無法很好地理解平常我們跟親友傳 LINE 的聊天記錄、網路上的碎片化知識及片段文章這類非結構化的訊息,而 GPT 具有理解非結構化訊息的能力,並且可以在理解之後,把這些非結構化訊息轉換成結構化訊息。
➋ GPT 的閱讀及文字處理能力很強,好比計算機處理數字的能力及速度(計算複雜數學題時,計算機按一按就得出答案了),讓 GPT 能在超快速閱讀大量文章後從裡面找出回答問題的關鍵。
➌ 跟公司團隊會有固定的溝通成本、等待彼此的回應及修改也需要時間,而 AI 生成回應的速度極快,既使第一次回應沒有 100% 正確,也能快速修正回應,輔助我們可以即時作出判斷、反饋調整,無論是 ChatGPT 或 DALL·E 模型,或許都無法一次就回答、生圖到位,但在多輪對話後大多可以優化成令人可接受的結果。
➍ 以往如 Google 內部工程師寫的 Code,確實也可以寫到讀完全世界的文章、網站的資訊,但代碼雖然可用關鍵字搜尋,是無法理解這些資訊裡面的含義。GPT 原本就是用特定時間存在網路上全部的巨量文字知識做訓練(也有圖片、影片、聲音等非文字資料做為訓練資料,但文字還是重點),所以 GPT 就是透過文字去理解全世界的知識,具有強大匹配轉換文字的處理能力,有邏輯性地呈現答案,與我們進行深度對話。
➎ 低成本,無限的耐心,如同 Google 全天 24 小時隨時待命,只為了提供我們最客製化的知識服務。

許多任務(如理解圖片內容、會議總結紀錄、Youtube 影片轉成文字總結、AI 製作簡報網站等)對 GPT 而言,都只是文字的交互作用與訊息處理而已。

✘ 那麼,GPT 不能做什麼?

➊ GPT 本身是網路知識的大雜燴,不會思考、不會假設,說一是一,說二是二,他的角色完全由我們來決定,如果不跟它說清楚,他給的答案就會是胡言亂語。
➋ GPT 最底層的運作邏輯就是「猜」,給的答案都是猜的,所以 GPT 很難精準回答問題。GPT 的 P 是 Pre-Trained 預先訓練,它只能理解被訓練過的數據,未經訓練的資訊就不會知道答案。GPT-4 Turbo 訓練數據截止時間至 2023 年 12 月,預訓練資料是 LLM 裡最燒錢、時間、GPU 運算的部分。GPT 不知道的數據,如關於醫院、公司的知識,可以透過如 PDF / CSV / TXT / 音源檔用 Embedding 的方式轉成向量餵給 GPT,如同外掛一個向量資料庫。
➌ 無法及時地處理訊息,或 Real-Time 更新資料庫:雖然生成答案的速度極快,但每次生成都有其成本及響應速度,不像我們平時 Google 查到的結果是隨時再更新數據的,沒被訓練過的訊息 GPT 就不知道了。
➍ 隱私問題:我們想要 GPT 給我們最好的答案,就需要 100% 毫無保留給 OpenAI 所有關於你的資訊,讓我們跟它的對話內容作為訓練數據,當對話裡出現敏感訊息,隱私的問題就會浮現;LLM 訓練結果是無法刪除的,如果哪天我們想請 OpenAI 刪掉我們不願意分享的資料也沒辦法。
➎ 道德問題:OpenAI 目前也有在處理這塊的問題,像如果請 GPT 生成血腥等超出規範、違法或可能侵犯他人權益的圖,GPT 是會拒絕的。

沒有正確分析我們想處理的問題、無法問出好問題,才是使用 GPT 最大的難題。很多人都知道 AI 很厲害,但卻不知道 GPT 能夠怎麼幫助到自己。理解以上 GPT 的能力與弱點後,其實好好地分析自己遇到的問題,拆解成能夠讓 GPT 有建設性地回答的問題,才是最重要的!

— -

📒 Compiled by — Sigrid Chen, Rehabilitation Medicine Resident Physician at Taichung Tzu Chi Hospital, Occupational Therapist, Personal Trainer of the American College of Sports Medicine.

--

--

Sigrid C.
MDBros
Editor for

Founder of ERRK|Visiting Scholar @ Stanford University|Innovation Enthusiast for a better Homo Sapiens Simulator