AI Booster - OpenAI ChatGPT plugins

Plugins are tools designed specifically for language models with safety as a core principle, and help ChatGPT access up-to-date information, run computations, or use third-party services.

Image credit: OpenAI

這系列文章是透過蒐集、分享我覺得有意思AI服務、相關文章、影片,期許自己能更了解這世界上正在發生什麼。

幾天前,OpenAI釋出了ChatGPT 官方插件(plugins),允許用戶連到第三方的應用程式,讓ChatGPT可以直接與應用程式端的API互動,這意味著ChatGPT將不再受限於因背後資料的過時且無法連線網路出現的幻想文或落後時事的回傳結果。在釋出的官方文件提到,ChatGPT可以透過插件,撈取並回傳即時資訊比如運動比分、股價、即時新聞等。協助用戶執行任務,比如上網訂機票、訂購餐點等。

除了第三方的插件外,OpenAI也釋出兩款官方的插件,web browsercode interpreter

不像之前版本無法連網和過時訓練資料導致回答與現實有所出入,有了 Web browser 插件,當詢問ChatGPT問題時,ChatGPT 會自行搜索網頁,並在總結答案時,提供用戶資料引用的來源。官方釋出的影片Demo,詢問最新一年奧斯卡獎得獎影片票房,並比較近期上映的電影銷售票房,ChatGPT能夠上網搜尋並消化近期的資訊並給予解答。

Image credit: OpenAI

自從ChatGPT釋出後,撰寫程式碼一直是最引人注目的領域,OpenAI提供Python程式碼解釋器(Code interpreter)於對話中,程式碼執行的結果存於對話中一段時間作為對話的參考使用。用戶也能上傳檔案,讓ChatGPT分析檔案內的內容、清理數據、製作圖表等。

Image credit: OpenAI

除了兩個官方插件外,OpenAI提供開源檢索插件(open-source retrieval plugin),ChatGPT 可以訪問獲得許可的資料來源並從中獲取相關資源。這插件同樣可以補足過時的訓練資料,搭配提示詞技巧,解鎖原本的ChatGPT不能處理的資訊。影片Demo中展示,如何將自然語言的問題轉換成查詢語法(queries),並送出訪問請求(request)給聯合國網站,ChatGPT收到網站的回應,並把回應(response)轉成自然語言回答用戶。

Image credit: OpenAI

整個背後的運作過程可以參考以下影片,有詳細解釋如何製作插件,利用OpenAI embeddings將資料源頭的內容Upsert至向量資料庫(vector database)。並展示在沒插件的情況下,ChatGPT是沒辦法回答相關問題的,但一旦嵌入插件後,ChatGPT能夠透過插件,消化資料源頭的資訊,並回傳給用戶答案。

Image credit: James Briggs

在用戶使用ChatGPT時,也可以選擇使用第三方插件,以下是目前在官網預告的第三方插件: 透過Expedia plugin,ChatGPT可以協助用戶安排旅行行程;透過Instacart plugin,ChatGPT可以協助用戶購買食材;透過Zapier plugin,ChatGPT可以與5000+個應用程式互動,包括Google Sheets, Trello, Gmail, HubSpot, Salesforce等。官網的Demo直接展示了組合技: 使用OpenTable 找餐廳、Wolfram計算自煮雞肉沙拉的卡路里、最後透過Instacart下定食材。

Image credit: OpenAI

Thank you and enjoy it!

--

--