Bert之後,相關的模型可說是百花齊放,以下就會介紹主要的發展方向。
NLP 模型的應用上有兩大目標:改善預測指標以及計算速度,但很難同時達到,在Bert後的研究中,XLNet 和 RoBERTa 改善了性能,而 DistilBERT 提高了推理速度,會在本文介紹。
前面一章我們提到的 ELMo,於 2018 年上半年由獨立的研究團隊提出後,在 NLP 領域原本就有相當完整的研發與技術能量的 Google 團隊,馬上就將 ELMo 的預訓練結合原有的…