[論文整理] Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme

命名實體關係抽取的三元組標記架構

Preview

對於非結構化文本（e.g.新聞、網頁等），我們想透過模型來抽取實體間的關係，以做後需更多應用，比如說知識圖譜（Knowledge Graph），對於這樣的任務，過往研究大致分為兩個方向，一為拆分成兩步驟，先做命名實體識別(NER)，再做關係分類(RC)，二為使用單一端到端的模型（End-to-End model），比如使用LSTM-based model（Miwa and Bansal, 2016）

此篇論文提出了一個新的標記架構(Tagging Scheme)將實體關係抽取(Joint Extraction of entities and relations) 轉換成一般的標注任務，並且透過 Bias Objective Function 對輸出的關係標籤(relational tags)加以權重，換句話說，讓輸出標籤的 Loss 能被加重，而輸出其他(The ‘O’ tag)的標籤則會相對減輕權重

這篇2017發表的論文中採取的是 LSTM-based 的方法，不過我認為可以試試看使用基於Transformer 或 BERT 的方法來試試看，應該會有不錯的效果，接下來會約略帶過本篇論文我認為的重點

1. Tagging Scheme
2. The Bias Objective Function

Tagging Scheme

來源: Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme

從上圖中可以看出，如同NER一樣，每個字開頭會有B, I, E表示該字屬於 Entity 中的哪個位置，中間表示關係，例如CP即表示Country-President，最後數字1或2則表示在關係中為前項或後項，透過這樣的標記架構，我們可以將命名實體關係抽取轉為一般的標記任務(Tagging Task)，而當我們訓練完這樣的模型，我們只要能找到一個有效的CP-1實體及CP-2實體，組合起來即能得到一個三元關係組(Entity1, RelationType, Entity2)，當有衝突的情況以最接近的為主，當然，現實中也有相隔很遠的關係存在，但此篇論文不討論這個問題，留到Future Work

The Bias Objective Function

The Bias Objective Function

由於每個字我們都會輸出一個標籤，並且在訓練途中計算Loss用以訓練參數，但在這個任務上，無用(The ‘O’ tag)的數目遠大於有用的標籤，換句話說，我們的負樣本(Negative Sample)數目比正樣本(True Sample)多很多，這樣可能會導致模型最後訓練不平均，只會輸出Negative，造成 Recall 太小，於是，我們給正樣本計算 Loss 的時候施加一個權重α，以平衡正樣本在訓練資料的數量較少的問題

比較不同模型的表現

第三部分為此篇論文模型及標記架構的實驗數據，可以看出在 LSTM-LSTM-Bias的項目，也就是施加α權重的結果，Recall優於其他兩者，F1-score也比較優

不同α配置下的Precision, Recall, F1-score比較

測試設定不同的α來訓練模型，可以得出設定為10的時候，較能在Precision與Recall之間取得一個平衡，得到較高的F1-score

Reference

1. Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme