Clicks can be Cheating: Counterfactual Recommendation for Mitigating Clickbait Issue

Wenjie Wang et al., SIGIR 2021

短影音推薦：利用因果圖的方式，在反事實推理框架中來評估，外顯特徵對於預測分數的直接影響。

Outline

• Introduction
• Related work
• Approach (Task formulation, Preliminary, Counterfactual recommendation)
• Experiments
• Conclusion

Introduction

為了提供給使用者個人化的推薦服務，通常會根據點擊行為來建構預測模型(點擊率預測)。但在點擊次數和使用者滿意度之間存在顯著的差異，因為使用者會被吸引人的標題或視覺圖詐騙，這種誘導點擊的情況是很常見的。

為了解決點擊誘餌(Click bait)的問題，作者使用因果推理的方式，來區分外顯特徵和內容特徵，減少點擊誘餌對項目的影響，並建立一個因果圖，反映推薦評分中的因素。

外顯特徵 (Exposure features)：點擊之前可以看到的資訊。

內容特徵 (Content features)：點擊之後可以看到的資訊。

接著在反事實框架當中，來評估外顯特徵對預測分數的影響；換句話說，想像成若項目只有外顯特徵時，它的預測分數會有多少。

Related work

Recommendation (推薦)

• VBPR: Ruining He et al., AAAI, 2016

將隱性特徵 (如：購買、瀏覽紀錄)，以及點擊項目的視覺圖和外觀等因素，共同加入到模型學習並預測分析。

• MMGCN: Yinwei Wei et al., MM 2019

本篇Paper所參考的架構，其做法為指導每個模態來學習使用者和項目之間互動的representation，讓模型能更好捕捉到使用者的偏好，再進一步進行個人化推薦。

Incorporating Various Feedback (結合各式回饋)

• Exploiting various implicit feedback for collaborative filtering: Byoungju Yang et al., WWW 2012

透過隱式回饋 (如：搜尋項目、添加到清單、跳過)來區分成正面或負面行為，再進行協同過濾。

• The good, the bad and the bait: Savvas Zannettou et al., SPW. IEEE 2018

透過手動標記的資料來對其他未標記的資料進行檢測分類，並利用VAE來解決Youtube上的點擊誘餌問題。

Causal Recommendation (因果推薦)

• A three-way decomposition of a total effect into direct, indirect, and interactive effects: Tyler J VanderWeele, Epidemiology (Cambridge, Mass.) 2013

講解總效應、自然直接效應和間接效應的關係。

• Counterfactual VQA: Yulei Niu et al., CVPR 2021

將反事實情況、因果推理的概念，應用到視覺問答的領域上。

目前對於因果推薦的方法，沒有考慮到點擊誘餌的問題，因為沒有區分外顯特徵和內容特徵的影響，於是作者以這一方向為切入點做研究。

Approach

Task formulation

• Click bait

我們模擬一個情況，項目 i 存在點擊誘餌的問題，項目 j 不存在點擊誘餌的問題。可以看到的是，項目 i 比項目 j 的排名更高，是因為項目 i 的外顯特徵更加吸引人，所以獲得了更高的推薦機會，公式表達如下：

於是作者若要解決點擊誘餌的問題，就必須讓公式變成：

Preliminary

• Causal Graph (因果圖)

因果圖是透過有向無環圖 (directed acyclic graph) 來描述變因之間的關係。

作者舉例了一個因果圖，代表個人收入的因果關係，I (收入)受到了A (年齡)、E (學歷)、S (技能)的影響，可以注意到的是，E (教育程度)同時也影響著S (技能)。

• Counterfactuals (反事實)

反事實推理是一種技術，簡單來說，就是對過去已經發生的事情，進行否定再重新推斷，以建立假設性的思維，最常見的說法是：「如果當時…，就會(就不會)…」。下面這張圖是假設一個情況，某人擁有學歷(e)的技能，或是沒有學歷(e*)的技能時，對於收入的影響是什麼？

e: bachelor degree

e*: no qualification

反事實推理的關鍵在於，透過外部干預的方法，來控制變因的值。

• Total Effect (總影響、TE)

以前面的例子來說，若要測量所有變因的影響，就得考慮其處理變因(e、學歷)和反應變因(S、技能)：

TE = (學歷、有學歷的技能) - (沒有學歷、沒有學歷的技能)，兩者對於 I (收入)的差異為何，就稱為總影響(TE)

• Natural Direct Effect (自然直接影響、NDE)

當我們只改變單一路徑上的處理變因(e、學歷)時，反應變因(I、收入)的變化為何。

NDE = (有學歷) - (沒學歷)，對於I (收入)的影響為何，就稱為自然直接影響(NDE)。此處假定S (技能)不會受到學歷的影響而改變，A (年齡)也不變。

• Total Indirect Effect (總間接影響、TIE)

TIE探討的一樣是反應變因(I、收入)的變化，但和NDE不同的是，它考慮了中介值的存在，也就是S (技能)。

TIE = (有學歷的技能) - (沒有學歷的技能)，對於I (收入)的影響為何，就稱為總間接影響(TIE)，此處假定A (年齡)、E (學歷)保持不變。

Counterfactual recommendation

以目前常見的推薦方法，以因果圖的方式來呈現：

以目前常見方法的因果圖，在使用者瀏覽的過程中，仍然會受到外顯特徵(E)的吸引而點擊這個項目，因此無法解決點擊誘餌的問題。

為了有效解決，作者先提出了一張新的因果圖，就是將外顯特徵(E)加到預測分數(Y)，就可以透過直接路徑(E > Y)以及間接路徑(E > I > Y)來捕捉到外顯特徵對預測分數的影響。

接著作者進行反事實推理 (Counterfactual recommendation)來減少外顯特徵的影響。在作者提出的因果圖(b)可以得知，預測分數(Y)是基於外顯特徵(E)、項目特徵(I)、使用者特徵(U)這三者所組成。

因此我們的目標就是，計算 e(有外顯特徵)和 e*(沒有外顯特徵)兩者對於預測分數的影響，得出的值就代表是使用者純粹被外顯特徵所吸引的程度。

若YCR越高，代表內容與標題沒有差距過大且滿意度高的項目，會更容易被推薦，反之，越低就越不會被推薦(差異過大)，如此一來，那些含有點擊誘餌的項目的預測分數，在反事實推理的過程中就會被大幅減少，進而提升推薦模型的效能。

Counterfactual Recommendation Model Design

在模型設計當中，包含兩個function，分別是特徵聚合函式(Feature aggregation function)和評分函式(Scoring function)。

特徵聚合函式 (Feature aggregation function)：從外顯特徵和內容特徵，提取項目的主要特徵，再輸入至評分函式中進行預測。

評分函式 (Scoring function)：接收特徵聚合函式的內容，並做出預測評分。

Counterfactual Recommendation Model Training

作者使用歷史的點擊資料，來最小化訓練以學習模型參數。

l: recommendation loss (cross-entropy loss)

α: 超參數

Experiments

Performance Comparison

在實驗數據的部分，包含程式碼、參數初始化、超參數調整等工作，作者都依照MMGCN框架的論文來實作。從圖表中可以看到，在所有情況下，CR的結果明顯優於其他方法，這必須歸功於作者提出的因果圖以及反事實推理的功勞。

Note: RR是將CR訓練得出的推薦結果，前20個項目重新排序(Re-rank)。

Conclusion

• 作者提出了全新的推薦框架(反事實推理)，它解釋了外顯特徵、內容特徵與預測分數之間的因果關係。
• 透過反事實推理，能夠有效估計外顯特徵對於預測分數的影響，並將其從評分中刪除。
• 作者使用MMGCN來實作CR model，之後只需要對其他模型進行微調，就能讓CR在不同的推薦情境和模型中得到廣泛的應用。