Albert ChenDistributed Computing for Training Large Models with AWS SageMakerIntroductionApr 22Apr 22
Albert Chen客製化的大型語言模型 (LLM) — 針對特定領域做 Continual pre-training一般的大型語言模型在特定領域,比如醫療或金融,往往無法滿足行業需求。因此,各行業急需客製化的LLM,可以利用行業累積的文本數據來訓練,這也是業界相對於學界的優勢。Jan 29Jan 29
Albert ChenLLM 時代下的繁體中文 Tokenization?在預訓練語言模型(PLMs)中,斷詞是基礎性的工作。現有的中文PLMs分詞方法通常將每個字符視為不可分割的標記。然而,它們忽略了中文書寫系統的獨特特徵,即在字符級別以下存在額外的語言信息,也就是子字符級別。為了利用這些信息,在簡體中文的研究中,已有學者提出了子字符(簡稱SubCh…Dec 24, 20232Dec 24, 20232