生成式AI 掀起巨大浪潮，隨著相關應用層面逐漸擴大，全球正面臨一波新的產業革命。NVIDIA 在AI時代中扮演要角，其更透過 NVIDIA Inception 新創計畫，扶植全球 15,000 家新創公司，藉由與 NVIDIA 從技術、業務擴展與行銷等各方面合作，用AI加速產業轉型、共同改變世界。
來自台灣的 AI 新創 APMIC 是 NVIDIA Inception 新創計畫的一員，更是NVIDA 生成式AI的獨立軟體供應商（ISV）。APMIC 是一間以自然語言理解（NLU）核心技術出發，由一群對AI技術充滿熱情的團隊所成立的，「CaiGunn 開講」是 APMIC 自主開發的在地化大型語言模型也是語言模型平台，企業人員只要將現有的文章、網站或是文件資料上傳，不須撰寫任何程式，就能打造出最聰明且接地氣的聊天機器人，讓每個員工都能輕鬆能成為AI「詠唱師」。
在今年 COMPUTEX 中，APMIC宣布旗下「CaiGunn 開講」平台首發新增「台灣之光」、專為台灣人打造的最新繁體中文大型語言模型 「 Llama-3-Taiwan-70B-Instruct」，採用Nemo Retriever 包含能夠對其擁有 700 億參數模型進行檢索增強生成（Retrieval-Augmented Generation；RAG），以讓AI 更符合台灣人的語境和文化脈絡，並進行相關應用支援。NVIDIA 總監 蕭怡祺表示「APMIC將會是『Llama-3-Taiwan-70B-Instruct』可靠的服務廠商，提供客戶所需要垂直模型的解決方案。」
「Llama-3-Taiwan-70B-Instruct」模型是多家廠商努力下的成果，目前Project TAME (TAiwanese Mixture of Experts)除了首發在APMIC旗下「CaiGunn 開講」平台上，讓使用者可以優先封測至6/30，同時也是目前台灣繁體中文的SOTA（State-of-the-Art）的冠軍，在繁體中文的評測（使用TMMLU+ 模型）上表現亮眼，分數更勝過GPT4-turbo。Project TAME (TAiwanese Mixture of Experts)透過大量NVIDA DGX H100 訓練而成，目前70B適合運行在DGX、HGX的H100系列硬體上，現在，使用 APMIC所開發的「CaiGunn 開講」模型的企業，已可直接選用在平台上「Llama-3-Taiwan-70B-Instruct」模型選項，企業中的每個員工更能透過 No-Code 的介面來使用此AI模型，自此台灣企業終能擁有屬於自己的、講我們熟悉語言的「AI 數位大腦」，此模型已經由 NVIDIA NIM 優化以提供更佳的推論速度，即將推出支援ASUS、Dell、HPE、Supermicro等設備環境，為每間企業提供快速導入專屬智能大腦的能力，實現卓越運營與創新。
APMIC 創辦人暨執行長吳柏翰(Jerry)指出，在過去，建立大型語言模型（LLM）需要走過許多複雜的流程。從資料輸入開始，企業人員需要進行資料前處理，如 PDF、Word 等格式轉換，把資料存到檔案系統中，同步轉文字放在 NoSQL（非關聯式資料庫）；而後，要把資料格式透過 LLM 放到向量資料庫（Vector Database），開始進行 RAG 準備。接下來，要依據資料與準確率開始進行模型微調、指令微調、RLHF（人類意見回饋強化學習）等工作，最後取得模型版本後，讓使用者上傳資料、下提示語（Prompt），再取得最終的AI成果。
「現在，透過APMIC的『CaiGunn 開講』，這些流程可被輕易的自動化，再搭配Project TAME (TAiwanese Mixture of Experts)產生的繁體中文成果，輕鬆打造出『插電即用』的大型語言模型平台，讓人人都可以透過自然語言做溝通，讓每個員工都能使用AI、為企業創造價值。」吳柏翰分享。
產品聯絡窗口：Yvonne
產品聯絡窗口 Email: yvonne@ap-mic.com
註冊CaiGunn：https://caigunn.ap-mic.com/login
想要暸解更多產品，可以透過表單留言聯繫，https://reurl.cc/XG2ege
