28. 注意力機制（Attention mechanism）

注意力機制（Attention mechanism）跟下一章節會介紹到的Transformer都是NLP發展過程中很具有影響力的元素，而注意力機制（Attention…

25. 簡介LSTM 與GRU

RNN 容易有梯度消失與梯度爆炸的問題，而LSTM 與GRU就是在解決這樣的問題。

LSTM

Pytorch｜Pytorch神經網路基礎模型

nn.Module

27. Seq2Seq：Encoder, Decoder概念

RNN 主要應用在序列數據資料的場景。尤其是自然語言處理的領域，如語言模型及機器翻譯等。 RNN 還可以對具有固定周期特徵的數據建立預測模型。

29. Transformer

Transformer就是個 seq 2 seq model，將一個序列轉成另一個序列，就像是變壓器將一個電流轉成另一個電流。

19. word2vec 的 CBOW 模型與 Skip-gram 模型

在訓練 word2vec 的時候有分成兩種主要的訓練方法，CBOW 與 Skip-gram。

Pytorch｜Pytorch模型修改與特定層擷取

取出模型中特定層的輸出

方法一 ：取出子 modules

26. 簡介雙向遞迴神經網路(BiRNN)

之前的提到的SimplyRNN、RNN+LSTM、RNN+GRU都是單向遞迴神經網路，也就是說再預測字詞的模型中，神經網路只會考慮上文，並不會上下文同時考慮進去。

22. GloVe 與 FastText

之前的 word2vec 詞向量模型是將文字依照語言慣例轉換成對應的向量，其，訓練出來的詞向量會有兩個盲點：

1. 在同性質文件中出現，但是文句距離太遠的字彙無法訓練到
2. 有類似字首 / 字尾的詞向量，無法在詞向量中表示出來

因此有了Glove 與 FastText 兩種詞向量方式依序解決以上問題。

GloVe(Global Vectors for Word…

Pytorch｜Torchtext 套件

Torchtext 是一個針對自然語言文本資料處理的一個套件，他簡化與統一處理文本資料的流程，使我們在做資料前處理時可以更便利簡潔。