整合 ChatGPT stream型式的 API 結果
這篇文章將說明在已經整合好 ChatGPT 後,怎麼將 API 改成支援 stream 型式連續回傳部分結果,讓使用者可以更快地得到回應。
前一陣子將 EinkBro 整合完 ChatGPT 後,常常會使用它來翻譯日文或韓文的網頁內文,並試著改善在 system role和 user prompt 中要代入的字串。不過,不論我怎麼怎麼修改,ChatGPT的回覆速度總是不盡人意,慢吞吞的,等個五到十秒是家常便飯,還常常會 timeout,連結果都不給了。