Diverse Counterfactual Explanations (DiCE) for ML

Raven
隨筆趣事
Published in
5 min readJun 10, 2023
Photo by Erik Mclean on Unsplash

前言

我們都知道可解釋性AI (XAI),指的是AI應用中的方法和技術,其輸出結果可以被人類理解和解釋。

AI模型可被分為兩類,一類被稱為黑箱(black box)模型,如深度學習;另一類,如決策樹、線性回歸和一些統計方法被稱為白箱(white box)模型,給出了可被人類所理解的模型解釋。

但是,不管是黑箱、白箱模型對人類來說還不是那麼透明,這意味著人們還是無法輕易理解,到底是什麼因素,導致模型的好壞! [1]

到底為什麼可解釋性AI被認為對 AI/ML 至關重要?

兩個方面,一方面屬於道德原因,當模型應用的某些規則似乎對我們的道德和道德思想產生不公平和不可取的結果時。

另一個方面屬於商業原因,即 AI/ML 應該揭露其回歸或分類(或作為輸出的東西)產生的答案,給出原因。

當 AI 通過業務廣泛傳播並融入我們社會的各個角落時,這些變得越來越重要。

道德原因-AI/ML造成的無意識偏見

我們通常無法意識到黑箱模型如何為我們提供結果,以及這些模型如何具有算法偏差和不公平性。

Cambridge Analytic醜聞亞馬遜AI招聘是我們必須在此回顧的著名事件。如果我們沒有注意到那些在某些人群中造成有害差異和不平等偏見,將使情況更糟。

在後者亞馬遜案例中,發現該系統在招聘過程中,對男性候選人的評分很高,並沒有性別中立,因為這反映當時科技行業是男性主導。

從這個角度來看,任何系統看起來都會讓人產生懷疑,因為這些系統現在可以通過在 AI/ML 生命週期中自動收集數據,來評估人事物的方法。

fairlearn 是一個Python package,用於評估系統的公平性並減輕 AI/ML 開發中觀察到的不公平性。

商業原因-AI/ML 導致的未知原因

這邊舉一個退休預測案例: 我們有大量員工的數據,需要預測誰將離開公司,以防止公司優秀人才離開。假設我們從數據中生成了一個模型,該模型顯示你們中的一位工程師可能很快就會離開公司。

但我們想問的是為什麼? 我們需要知道的不是他會離開,而是他為什麼會辭職!

模型可以很容易地從給定的數據中預測出誰可能離開公司,但是該模型並沒有辦法就告訴我們,可以採取什麼措施來防止他離開公司。

為了避免這種其況,我們想問模型 "如果" 他在 2 年內加薪或 "如果" 他每月的加班時間少於 30 小時...等。

在最近研究中,現在可以通過反事實解釋(如果……會怎樣...)我們想對相同輸入提出問題的假設,來獲得哪些條件會翻轉模型預測。我將通過 DiCE(多樣化反事實解釋)實現來尋求 ML 模型的反事實解釋。

DiCE (Diverse Counterfactual Explanations)

微軟研究員,Ramaravind Kommiya Mothilal, Amit Sharma, Chenhao Tan於 2020 年 1 月在 github 上發表了“Explaining Machine Learning Classifiers through Diverse Counterfactual Example” 和 DiCE。

首先DiCE是什麼? DiCE 是他們研究計畫之一。 此計畫基於他們的研究,為任何 ML 模型生成了多種反事實解釋

DiCE implements counterfactual (CF) explanations that provide such information by showing feature-perturbed versions of the same case… In other words, it provides “what-if” explanations for model output and can be a useful complement to other explanation methods, both for end-users and model developers.

DiCE 是一個非常實用的Python library,它實現反事實 (CF) 解釋,透過具體的數據展示,來達成可解釋性AI。

小結

看到這邊是不是還意猶未盡,筆者當初在研究時,也是如此!

下一篇文章,筆者將會運用生活中的案例,來實現反事實解釋,並介紹DiCE使用方法,及好用的功能。

若有任何錯誤或要討論的地方,非常歡迎與我聯繫。以下是我的LinkedIn:

https://www.linkedin.com/in/ray-huang-a01a5a171/

歡迎大家follow起來,也可以拍手給我一點鼓勵!

--

--

Raven
隨筆趣事

熱愛寫code,平時遇到有趣的事情,也會上來寫寫,抒發自己的心情。