28. 注意力機制（Attention mechanism）

注意力機制（Attention mechanism）跟下一章節會介紹到的Transformer都是NLP發展過程中很具有影響力的元素，而注意力機制（Attention…

25. 簡介LSTM 與GRU

RNN 容易有梯度消失與梯度爆炸的問題，而LSTM 與GRU就是在解決這樣的問題。

LSTM

Pytorch｜Pytorch神經網路基礎模型

nn.Module

27. Seq2Seq：Encoder, Decoder概念

RNN 主要應用在序列數據資料的場景。尤其是自然語言處理的領域，如語言模型及機器翻譯等。 RNN 還可以對具有固定周期特徵的數據建立預測模型。

29. Transformer

Transformer就是個 seq 2 seq model，將一個序列轉成另一個序列，就像是變壓器將一個電流轉成另一個電流。

32. Transformer + 預訓練 : 集大成的 Bert 模型

前面一章我們提到的 ELMo，於 2018 年上半年由獨立的研究團隊提出後，在 NLP 領域原本就有相當完整的研發與技術能量的 Google 團隊，馬上就將 ELMo 的預訓練結合原有的…

19. word2vec 的 CBOW 模型與 Skip-gram 模型

在訓練 word2vec 的時候有分成兩種主要的訓練方法，CBOW 與 Skip-gram。

34. 調參版Bert應用範例

NLP與CV(電腦視覺)的預訓練模型有何主要差異？

Pytorch｜Pytorch模型修改與特定層擷取

取出模型中特定層的輸出

方法一 ：取出子 modules

31. ELMo (Embeddings from Language Models 嵌入式語言模型)