28. 注意力機制（Attention mechanism）

注意力機制（Attention mechanism）跟下一章節會介紹到的Transformer都是NLP發展過程中很具有影響力的元素，而注意力機制（Attention…

2. 正則表達式(Regular Expression)

正則表達式是用來檢查一個字串中是否含有某個字串，例如要找gmail的電子信箱，就要找含@gmail.com的字串，常用來進行以下工作：

在 Jupyter notebook 中建立、移除虛擬環境

下載好 Anaconda 後，就可以開始在其中的 Jupyter notebook…

25. 簡介LSTM 與GRU

RNN 容易有梯度消失與梯度爆炸的問題，而LSTM 與GRU就是在解決這樣的問題。

LSTM

Pytorch｜Pytorch神經網路基礎模型

nn.Module

Python 學習筆記｜numpy.einsum用法

numpy.einsum在初學的時候也許不是必要的函數，但對於時間複雜度高的計算，此方程式可以提高運算速度，主要用於計算向量及矩陣，總共有兩個部分組成，一是計算規則，二是要計算的陣列或矩陣。本篇會討論一維陣列(array)、二…

6. 中文斷詞工具：CkipTagger

• CkipTagger 為台灣中央研究院詞庫小組所開發的 NLP(自然語言處理) 套件，是個以深度學習模型為基礎而成的 NLP(自然語言處理) 應用。 其訓練的文本資料來源為中央社、wiki (用舊版套件先進行斷詞) 及…

7. 基礎語言模型：N-Gram

當我們想到可口可樂的時候，可能會「聯想」到百事可樂(而不是珍珠奶茶)，人們長期在學習累積語言後有判斷合不合理與聯想的能力。那 NLP 有沒有這樣判斷合不合理與聯想的能力呢？Ｎ-gram…

27. Seq2Seq：Encoder, Decoder概念

RNN 主要應用在序列數據資料的場景。尤其是自然語言處理的領域，如語言模型及機器翻譯等。 RNN 還可以對具有固定周期特徵的數據建立預測模型。

29. Transformer

Transformer就是個 seq 2 seq model，將一個序列轉成另一個序列，就像是變壓器將一個電流轉成另一個電流。