每一位做中文NLP(Natural Language Processing)的朋友大概都用過Jieba。分詞作為中文NLP工序的第一步，對模型性能影響至鉅。然而，以往可供選擇的工具並不多。Jieba雖然分詞效果不理想，卻幾乎是預設的選項。最近台灣中研院開發的CKIPtagger成為了Jieba的挑戰者。CKIPtagger不但分詞效果更理想，還提供實體識別功能。下文會比較兩者的效果和CKIPtagger的使用方式。
分詞例子
我在HK01上隨意選擇三篇文章，以Jieba和CKIPtagger分別做分詞。三篇文章題材不同，其中一篇較多人名地名，看看兩者的表現有沒有受影響。
Example 1 Input:
def get_jieba_tokenization(text):
tokenized = jieba.lcut(text)
return ' '.join(tokenized)def get_ckiptagger_tokenization(text):
ckip_tokenized = ws([text])
return ' '.join(ckip_tokenized[0])text1 = '''2003年沙士一役，港大新發病毒性疾病學講座教授管軼在廣州野味市場的果子狸身上，找到感染人類的沙士冠狀病毒，找到元兇遏止疫情擴散，成為沙士抗疫英雄。事隔17年，他本周二三（21、22日），與團隊到武漢考察，但找不到源頭，「源頭被銷毀得乾乾淨淨，這裏似乎不歡迎專家」，他對內地傳媒說，估計武漢感染規模大沙士十倍起跳，又說政府不作為，無奈做「逃兵」訂機票返港，感到極其無力。'''print (f'jieba result: \n{get_jieba_tokenization(text1)}')
print ('\n')
print (f'ckiptagger result: \n{get_ckiptagger_tokenization(text1)}')
Example 1 Output:
jieba result:
2003 年 沙士 一役 ， 港大新發 病毒性 疾病 學講座 教授 管軼 在 廣州 野味 市場 的 果子狸 身上 ， 找到 感染 人類 的 沙士 冠狀 病毒 ， 找到 元 兇 遏止 疫情 擴散 ， 成為 沙士 抗疫 英雄 。 事隔 17 年 ， 他 本周 二三 （ 21 、 22 日 ） ， 與 團隊 到 武漢 考察 ， 但 找 不到 源頭 ， 「 源頭 被 銷毀 得 乾 乾淨淨 ， 這 裏 似乎 不歡 迎 專家 」 ， 他 對 內 地 傳媒 說 ， 估計 武漢 感染 規模 大 沙士 十倍 起跳 ， 又 說 政府 不作 為 ， 無奈 做 「 逃兵 」 訂機票 返港 ， 感到 極其 無力 。
ckiptagger result:
2003年 沙士 一 役 ， 港大 新發病毒性 疾病學 講座 教授 管軼 在 廣州 野味 市場 的 果子狸 身 上 ， 找到 感染 人類 的 沙士 冠狀 病毒 ， 找到 元兇 遏止 疫情 擴散 ， 成為 沙士 抗疫 英雄 。 事 隔 17 年 ， 他 本 周 二三 （ 21 、 22日 ） ， 與 團隊 到 武漢 考察 ， 但 找 不 到 源頭 ， 「 源頭 被 銷毀 得 乾乾淨淨 ， 這裏 似乎 不 歡迎 專家 」 ， 他 對 內地 傳媒 說 ， 估計 武漢 感染 規模 大 沙士 十 倍 起跳 ， 又 說 政府 不 作為 ， 無奈 做 「 逃兵 」 訂 機票 返 港 ， 感到 極其 無力 。以上例子可以見到，Jieba在比較長的詞語表現欠佳，如將「港大新發病毒性疾病學講座教授」分成「港大新發 病毒性 疾病 學講座 教授」。CKIPtagger的長詞語分詞比較合理。
Example 2 Input:
text2 = '''農曆新年將至，又是逗利是的時候，打工仔也可望收到開工利是。滙豐連續第二年向本港員工派發電子利是，每位500元，將在員工下一個出糧日透過出糧戶口發放。滙豐香港區行政總裁施穎茵向香港員工發出電郵，宣布派發電子利是的消息。她於電郵內表示，十分感謝同事對公司及客戶無限的貢獻及投入，即使前景仍有不確定性，她有信心克服挑戰，今年再創繁榮。滙豐發言人回覆傳媒查詢時稱，滙豐希望藉著農曆新年，感謝各同事過去一年的努力。跟去年一樣，該行將會向每位香港員工派發500元的電子利是，在各同事下一個出糧日透過出糧戶口發放。'''print (f'jieba result: \n{get_jieba_tokenization(text2)}')
print ('\n')
print (f'ckiptagger result: \n{get_ckiptagger_tokenization(text2)}')
Example 2 Output：
jieba result:
農 曆 新年 將至 ， 又 是 逗利 是 的 時候 ， 打工仔 也 可望 收到 開工利 是 。 滙 豐連續 第二年 向 本港 員 工派 發電子 利是 ， 每位 500 元 ， 將在員 工下 一個 出 糧日 透過 出 糧戶口 發放 。 滙 豐 香港 區 行政 總裁 施穎茵 向 香港 員工 發出 電郵 ， 宣布 派 發電子利 是 的 消息 。 她 於 電郵內 表示 ， 十分 感謝 同事 對 公司 及 客戶 無限 的 貢獻及 投入 ， 即使 前景 仍有 不確 定性 ， 她 有 信心 克服 挑戰 ， 今年 再創 繁榮 。 滙 豐發言人 回覆 傳媒查 詢時 稱 ， 滙 豐 希望 藉 著農 曆 新年 ， 感謝 各 同事 過去 一年 的 努力 。 跟 去年 一樣 ， 該行 將會 向 每位 香港 員 工派 發 500 元 的 電子利 是 ， 在 各 同事 下一個 出 糧日 透過 出 糧戶口 發放 。
ckiptagger result:
農曆 新年 將 至 ， 又 是 逗利 是 的 時候 ， 打工仔 也 可望 收到 開工利 是 。 滙豐 連續 第二 年 向 本 港 員工 派發 電子 利 是 ， 每 位 500 元 ， 將 在 員工 下 一 個 出糧日 透過 出糧 戶口 發放 。 滙豐 香港區 行政 總裁 施穎茵 向 香港 員工 發出 電郵 ， 宣布派發 電子 利 是 的 消息 。 她 於 電郵 內 表示 ， 十分 感謝 同事 對 公司 及 客戶 無限 的 貢獻 及 投入 ， 即使 前景 仍 有 不確定性 ， 她 有 信心 克服 挑戰 ， 今年 再 創 繁榮 。 滙豐 發言人 回覆 傳媒 查詢 時 稱 ， 滙豐 希望 藉著 農曆 新年 ， 感謝 各 同事 過去 一 年 的 努力 。 跟 去年 一樣 ， 該 行 將 會 向 每 位 香港 員工派發 500 元 的 電子利 是 ， 在 各 同事 下 一 個 出糧日 透過 出糧 戶口 發放 。Jieba連「農曆新年」都分錯，而且無法認到「滙豐」。
Example 3 Input：
text3 = '''大阪、京都、奈良、神戶是親子遊的熱門路線，其實除了京阪神，從大阪玩到鳥取也是不錯選擇！官方早前推出鳥取1000円巴士優惠，由大阪難波往鳥取只需1000円，大阪Open Jaw玩鳥取一流，加上適逢鳥取紅楚蟹季開鑼，平食海產、鳥取和牛、21世紀梨……還有必去鳥取砂丘、鬼太郎商店街及小朋友最愛的柯南博物館等，大人小朋友都玩得滿足！'''print (f'jieba result: \n{get_jieba_tokenization(text3)}')
print ('\n')
print (f'ckiptagger result: \n{get_ckiptagger_tokenization(text3)}')
Example 3 Output:
jieba result:
大阪 、 京都 、 奈良 、 神戶 是 親子遊 的 熱門 路線 ， 其實 除了 京 阪神 ， 從 大阪 玩到 鳥取 也 是 不錯 選擇 ！ 官方 早前 推出 鳥取 1000 円 巴士 優惠 ， 由 大阪 難波往 鳥取 只 需 1000 円 ， 大阪 Open Jaw 玩鳥取 一流 ， 加上 適逢 鳥 取紅楚 蟹 季開鑼 ， 平食 海產 、 鳥取 和 牛 、 21 世紀 梨 … … 還有 必去 鳥取 砂丘 、 鬼 太郎 商店 街及 小朋友 最愛的 柯南 博物 館 等 ， 大人 小朋友 都 玩 得 滿足 ！
ckiptagger result:
大阪 、 京都 、 奈良 、 神戶 是 親子 遊 的 熱門 路線 ， 其實 除了 京阪神 ， 從 大阪 玩 到 鳥取 也 是 不錯 選擇 ！ 官方 早前 推出 鳥取 1000 円 巴士 優惠 ， 由 大阪 難波 往 鳥取 只 需 1000 円 ， 大阪 Open Jaw 玩 鳥 取 一流 ， 加上 適逢 鳥取 紅楚蟹季 開鑼 ， 平食 海產 、 鳥取 和 牛 、 21世紀 梨 … … 還 有 必 去 鳥取 砂丘 、 鬼太郎 商店街 及 小朋友 最愛 的 柯南 博物館 等 ， 大人 小朋友 都 玩 得 滿足 ！這篇文章比較多地名同專有名詞， CKIPtagger大致上都認到，例如「京阪神」、「難波」。而Jieba就認不到。
命名實體識別
除了分詞外，CKIPtagger還有命名實體識別(named entity recognition)能力。比如說如果想抽取第三篇文的地名：
tokenized_result = ws([text3])
pos_result = pos(tokenized_result)entity_result = ner(tokenized_result, pos_result)
print (entity_result)
結果非常準確：
{(0, 2, 'GPE', '大阪'),
(3, 5, 'GPE', '京都'),
(6, 8, 'GPE', '奈良'),
(9, 11, 'GPE', '神戶'),
(25, 28, 'GPE', '京阪神'),
(30, 32, 'GPE', '大阪'),
(34, 36, 'GPE', '鳥取'),
(49, 51, 'GPE', '鳥取'),
(51, 55, 'CARDINAL', '1000'),
(62, 64, 'GPE', '大阪'),
(64, 66, 'GPE', '難波'),
(67, 69, 'GPE', '鳥取'),
(71, 75, 'CARDINAL', '1000'),
(77, 87, 'GPE', '大阪Open Jaw'),
(97, 99, 'GPE', '鳥取'),
(111, 113, 'GPE', '鳥取'),
(116, 120, 'DATE', '21世紀'),
(127, 129, 'GPE', '鳥取'),
(145, 150, 'FAC', '柯南博物館')}Remark
雖然CKIPtagger非常好用，但都存在一些缺點：
- 相比Jieba，無論啟動速度還是分詞速度都較慢。因為CKIPtagger背後用到深度學習模型，每次使用前都要先將模型加載。
- 下載預訓練模型的連結有時會失效。解決方法很簡單：預先下載。
完整代碼：
import jieba
from ckiptagger import WS, POS, NER, data_utilsdata_utils.download_data_gdown("./")ws = WS("./data")
pos = POS("./data")
ner = NER("./data")def get_jieba_tokenization(text):
tokenized = jieba.lcut(text)
return ' '.join(tokenized)def get_ckiptagger_tokenization(text):
ckip_tokenized = ws([text])
return ' '.join(ckip_tokenized[0])text1 = '''2003年沙士一役，港大新發病毒性疾病學講座教授管軼在廣州野味市場的果子狸身上，找到感染人類的沙士冠狀病毒，找到元兇遏止疫情擴散，成為沙士抗疫英雄。事隔17年，他本周二三（21、22日），與團隊到武漢考察，但找不到源頭，「源頭被銷毀得乾乾淨淨，這裏似乎不歡迎專家」，他對內地傳媒說，估計武漢感染規模大沙士十倍起跳，又說政府不作為，無奈做「逃兵」訂機票返港，感到極其無力。'''text2 = '''農曆新年將至，又是逗利是的時候，打工仔也可望收到開工利是。滙豐連續第二年向本港員工派發電子利是，每位500元，將在員工下一個出糧日透過出糧戶口發放。滙豐香港區行政總裁施穎茵向香港員工發出電郵，宣布派發電子利是的消息。她於電郵內表示，十分感謝同事對公司及客戶無限的貢獻及投入，即使前景仍有不確定性，她有信心克服挑戰，今年再創繁榮。滙豐發言人回覆傳媒查詢時稱，滙豐希望藉著農曆新年，感謝各同事過去一年的努力。跟去年一樣，該行將會向每位香港員工派發500元的電子利是，在各同事下一個出糧日透過出糧戶口發放。'''text3 = '''大阪、京都、奈良、神戶是親子遊的熱門路線，其實除了京阪神，從大阪玩到鳥取也是不錯選擇！官方早前推出鳥取1000円巴士優惠，由大阪難波往鳥取只需1000円，大阪Open Jaw玩鳥取一流，加上適逢鳥取紅楚蟹季開鑼，平食海產、鳥取和牛、21世紀梨……還有必去鳥取砂丘、鬼太郎商店街及小朋友最愛的柯南博物館等，大人小朋友都玩得滿足！'''print (f'jieba result: \n{get_jieba_tokenization(text1)}')
print ('\n')
print (f'ckiptagger result: \n{get_ckiptagger_tokenization(text1)}')print (f'jieba result: \n{get_jieba_tokenization(text2)}')
print ('\n')
print (f'ckiptagger result: \n{get_ckiptagger_tokenization(text2)}')print (f'jieba result: \n{get_jieba_tokenization(text3)}')
print ('\n')
print (f'ckiptagger result: \n{get_ckiptagger_tokenization(text3)}')tokenized_result = ws([text3])
pos_result = pos(tokenized_result)entity_result = ner(tokenized_result, pos_result)
print (entity_result)
