亞太智能機器挑戰開源大語言模型(LLM)勇奪佳績

Arthur
APMIC
Published in
Dec 28, 2023
使用LLM幫助企業提升競爭力

隨著ChatGPT浪潮的來臨,開啟生成式 AI在現代應用中的嶄新契機。ChatGPT又稱為聊天生成預訓練轉換器,已成為眾多企業提升效率的得力助手,有越來越多企業使用ChatGPT來處理繁瑣的行政工作,比如文書處理、資料修飾、文案與企劃等等文字相關資料。這些與文字相關的工作不再是繁瑣的挑戰,因為ChatGPT能夠以高效率進行優化與美化。ChatGPT作為一種生成式AI,其背後的大語言模型(LLM)引起了眾多企業的關注。這種生成式AI的關鍵在於其所依賴的龐大語言模型,究竟需要多強大的訓練,才能實現AI與人類的流暢對話呢?

亞太智能機器的創辦人吳柏翰指出,大語言模型(LLM)而言是基於大量資料進行預訓練的超大型深度學習模型,LLM可以考慮數十億個參數,且其模型的大小直接關聯到其參數量。例如Open AI的GPT-3模型有1750億個參數,其參數量相當龐大,且隨著資料量的增加,也伴隨著訓練成本的不斷攀升。目前致力於打造一個龐大的語言模型,這是只有大型科技公司能夠承擔的高昂成本。

儘管ChatGPT等生成式AI在解決日常生活中簡單文件的應用上發揮著重要作用,但這些模型主要以英文進行訓練,繁體中文比例低於0.1%。這也就凸顯出一個重要的挑戰:如何在生成式AI中充分發揮繁體中文的潛力,使其更貼近臺灣的使用場景並且接上地氣,研究開源大語言模型(LLM)就成為各大企業挑戰的問題。

APMIC團隊的大語言模型「CaiGun 開講」入選了Hugging Face百大語言模型排行榜

目前全球知名的開放大語言模型(LLM)排行榜是由Hugging Face設立,用於評估開源大語言模型的公開榜單。在今年12月,臺灣的亞太智能機器(APMIC)隨即入選了百大語言模型排行榜,目前以平均分數71.19排名第64,甚至超越了知名的Intel neural-chat團隊。APMIC在Open LLM排行榜入選的是caigun-lora-model,團隊成員希望大語言模型能夠在地化,所以取名為CaiGun,音同臺灣閩南語開講(khai-káng),展現了團隊對地方文化的尊重與期望。

「CaiGun 開講」是一款真正由國人團隊所打造的在地化大語言模型,無論是文章、網站或是文件資料都能輕鬆打造出最接地氣的對話機器人。亞太智能機器的創辦人吳柏翰表示,目前所曉得的是ChatGPT擁有的大型語言模型是透過大量數據的預訓練而來,具有龐大的詞彙庫和語境理解能力。這使得ChatGPT能夠理解並生成自然、具有上下文的文字。然而在繁體中文的辨識上,ChatGPT聊天機器人會像人類一樣產生「幻覺」(hallucinations),並且在繁體中文的支持度上仍然有更多可以進步的空間。為了解決這個問題,APMIC團隊致力於打造CaiGun大語言模型,並且致力於提升其在繁體中文的辨識能力。CaiGun的獨特之處在於其本地化的訓練,企業在使用CaiGun時,可以期待更高效、更準確的繁體中文處理,並且能夠根據特定任務進行微調,以提高在特定領域的表現。

不管是ChatGPT、大語言模型(LLM),各種生成式AI已然成為企業們的最佳人工智慧幫手,在這波浪潮之中,誰能將AI工具應用得更好,企業將能大幅提升競爭力。「CaiGun 開講」大語言模型仍然在持續成長之中,或許在臺灣企業中將成為生成式AI工具的新選擇。

--

--