2. 正則表達式(Regular Expression)

正則表達式是用來檢查一個字串中是否含有某個字串，例如要找gmail的電子信箱，就要找含@gmail.com的字串，常用來進行以下工作：

Python 學習筆記｜numpy.einsum用法

numpy.einsum在初學的時候也許不是必要的函數，但對於時間複雜度高的計算，此方程式可以提高運算速度，主要用於計算向量及矩陣，總共有兩個部分組成，一是計算規則，二是要計算的陣列或矩陣。本篇會討論一維陣列(array)、二…

6. 中文斷詞工具：CkipTagger

• CkipTagger 為台灣中央研究院詞庫小組所開發的 NLP(自然語言處理) 套件，是個以深度學習模型為基礎而成的 NLP(自然語言處理) 應用。 其訓練的文本資料來源為中央社、wiki (用舊版套件先進行斷詞) 及…

7. 基礎語言模型：N-Gram

當我們想到可口可樂的時候，可能會「聯想」到百事可樂(而不是珍珠奶茶)，人們長期在學習累積語言後有判斷合不合理與聯想的能力。那 NLP 有沒有這樣判斷合不合理與聯想的能力呢？Ｎ-gram…

16. K-近鄰演算法（K-nearest neighbors）

K-nearest neighbors 演算法(KNN)是監督式學習中的分類演算法(classification)。簡單來說，要預測資料的類別是取決於K個最相近訓練資料的類別，以下會有更詳細的說明。

9. 詞性標註(Part-of-speech tagging)

每種語言都有許多詞類(Part of speech, POS)，例如動詞，名詞，副詞，形容詞等，而詞性標註(Part Of Speech…

4. NLP中文斷詞

英文斷詞基本上就是靠著標點符號跟空白，但中文每個詞跟詞之間沒有空白，所以中文斷詞不能用這個方法，這時我們就需要一些特別的方法幫助電腦學習如何將中文斷詞。

12. 詞幹/詞條提取：Stemming and Lemmatization

在英文語句中，同一個單詞的拼法可能會隨著時態、單複數、主被動等狀況而有所改變，如 speaking / speak 或是 cats /…

5. 中文斷詞工具：Jieba

• 要對非結構化的文字資料進行分析，第一件事情是對文字資料抽取結構化的量化數值特徵。除了用「文字探勘分析器」簡單分析字數、句數之外，最常見的分析方式就是斷詞和詞性分析。
• 作為最廣為人使用的斷詞器，結巴(Jieba)不…

8. 在Python中建立N-Garm模型

在上一篇中已經介紹了何謂N-Gram 語言模型，本文重點在於如何在Python中建立N-Gram 語言模型

N-Gram 語言模型