機器學習公平嗎？
本文同步刊登於 Trustable AI 部落格。
演算法公平性（algorithmic fairness）是與大數據、機器學習相關的新興研究主題之一，大約從 2015 年開始受到媒體報導與關注。這個主題研究的是，當我們開始在醫療、保險、法律、金融或其它領域，運用資料與演算法來進行某些傳統上由人來進行的決策時，能不能確保演算法的結果符合這些領域所應該維繫的公平原則？
其中一個重要議題是反歧視（non-discrimination）。運用機器學習技術的演算法，都會用到大量的人類活動歷史資料，來訓練數學模型進行決策。而過往的人類行為很可能內含偏見與歧視。如何避免數學模型學到人類的歧視行為，是演算法公平性研究的一個重要問題。
這些隱含的偏見與歧視行為，不是把可能造成歧視問題的資料欄位去除、去識別化，就可以消除的。Google Research blog 這篇文章就舉了一個例子：對於少數群體，很可能我們手上的 dataset 顯著地缺乏。而機器學習的準確度很大程度取決於訓練資料量的多少，因此少數族群就可能較容易被誤判為高風險，而受到不公平的對待。
如果人類社會本來就存在一些偏見與歧視，那麼歧視就不是機器才有的行為，為什麼機器學習領域還要特別關注這個問題呢？因為機器與自動化可以放大隱含的偏見與歧視，而且放大的程度可能難以控制（可參考《大數據的傲慢與偏見》一書），因此避免機器複製這些行為，對於擴大機器學習的運用與社會安定是重要的。
目前在這個主題上的研究，絕大部份在設計公平的分類演算法（classifier），方法通常是對「公平」這個概念提出一個數學定義，再找出一個可行的演算法或訓練方法。少部份研究如 Skirpan et al（2017）[1]則試圖擴大公平性研究的範圍。Skirpan 等人認為「公平」的內涵會隨著討論的脈絡而改變，必須要看是關於誰、是什麼群體、在什麼時間與如何達成公平來考慮一個演算法是否公平，因此與前述先確定一個公平的定義再進行討論的研究路線稍有不同。以下先以 Skirpan 等人的分類大致說明一些研究方向的進展，「公平的定義與數學模型」一節再說明幾個常見的公平的數學定義，與其研究進展。
公平性研究的範圍
Skirpan et al（2017）這篇論文，把機器學習的公平性研究分為 3 個大問題：
- Fairness of a system 問的是：建立一個 X 這樣的 ML 系統是否公平？例如 Bird at el（2016）[2]就從實驗倫理的角度提出對於自動化實驗（autonomous experimentation）的疑慮，認為在建立某些機器學習自動化實驗系統之前，我們需要有機器學習實驗倫理與覆核機制，否則這可能本身是有問題的（類似於對人體進行某些實驗是有倫理問題的）。
- Fairness of an approach 問的是：要建立一個 X 這樣的 ML 系統，有沒有技術上公平的作法？這可能是目前最多研究著墨的問題，但 Skirpan 等人在這裡所列舉的成果，完整度似乎不若公平分類演算法設計的文獻。可參考下一節「公平的定義與數學模型」。
- Fairness of a result 問的是：建立了一個 X 這樣的 ML 系統之後，它產出的結果是公平的嗎？這相當於事後補救，用黑箱測試的方式檢驗 ML 系統需不需要修正。在美國，由於再犯預測模型（recidivism prediction system）的運用稍早，有不少相關研究。這部份的文獻量（可查詢 recidivism prediction 與 disparity 等關鍵詞）不少，需要日後再分篇處理。
公平的定義與數學模型
這方面的研究常引用經濟學、哲學對於公平概念的操作型定義，討論的對象都是分類演算法。概念上可以這樣看：集合 X 是所有要被分類的個體，A 是 X 之中「被保護的」（可能會被歧視的）部份，x 是一個任意的個體。那麼有幾種方式定義公平：
- Fairness through unawareness：忽略個體 x 是不是在 A 之中。這等於演算法完全無視「x 是否屬於 A」這個條件，只用其它條件進行分類。這個方式可能很直觀，但可能反而對非 A 群體不公平，並且有 redundant encoding 的問題，因此目前研究上多不採用。
- Demographic parity（也稱作 statistical parity、group fairness）：A 與非 A 兩個群體，被分類到各個類別的比例一樣。例如某個行業的從業人口男女比為 1:2，那麼受僱用的男女比也應該接近 1:2。這個作法可以完全避免 redundant encoding，但 Dwork et al（2012）[3]指出這可能造成整體看來公平但對個體而言不公平。例如在非 A 中的個體 x 可能條件比 A 之中入選的個體要好，但因為名額限制而沒有入選。
- Individual fairness：Dwork et al（2012）提出這個想法來取代 group fairness。概念上是用兩兩比較的方式，也就是「如果 x 跟 y 的條件很相近，那麼他們被分類的結果也要很相近」。這個作法要先取一個度量 d(x, y) 來表示「x 與 y 兩個個體的條件有多相近」，然後規定愈相近的個體，被分類到各類別的機率分佈要愈接近。這個作法容許 Skirpan 等人所提倡的不同脈絡下的公平定義，不同專業領域的公平條件可能不一樣。實作上，則可以看成是增加一個訓練時的 fairness constraint 條件。這個作法可以用 linear programming 加入優化演算法中。
- Equal opportunity：Hardt et al（2016）[4]提出的想法，想法是保障機會均等，也就是「可以入選的人，不論身在 A 或非 A 之中，入選的機率都一樣」。這個作法只能保障對於「可以入選」的那部份人是公平的，所以適用於僱用、信用評分（入選的人才核發貸款）這些應用。實作上，Woodworth et al（2017）[5]認為 Hardt 等人原始論文的作法效用不好，再提出一個效用比較好的作法。Hardt 等人的作法不需要重新訓練 model，只需要事後修正；Woodworth 等人的作法要修改訓練程序。
- Avoid disparate mistreatment：Zafar et al（2017）[6]的想法，目標是讓不同群體的人被誤判的機會相近，所以訓練資料比較少，誤判機會相對高的群體就不會受到差別待遇。這個想法跟 equal opportunity 非常接近。
Google Research 有個視覺化網站可以說明 fairness through unawareness（即 ”group unaware”）、demographic parity、equal opportunity 這些作法的差異。
參考文獻
- M. Skirpan and M. Gorelick, “The Authority of ‘Fair’ in Machine Learning,” arXiv:1706.09976 [cs], Jun. 2017.
- S. Bird, S. Barocas, K. Crawford, F. Diaz, and H. Wallach, “Exploring or Exploiting? Social and Ethical Implications of Autonomous Experimentation in AI,” Oct. 2016.
- C. Dwork, M. Hardt, T. Pitassi, O. Reingold, and R. Zemel, “Fairness Through Awareness,” in Proceedings of the 3rd Innovations in Theoretical Computer Science Conference, New York, NY, USA, 2012, pp. 214–226.
- M. Hardt, E. Price, and N. and Srebro, “Equality of Opportunity in Supervised Learning,” in Advances in Neural Information Processing Systems 29, D. D. Lee, M. Sugiyama, U. V. Luxburg, I. Guyon, and R. Garnett, Eds. Barcelona, Spain: Curran Associates, Inc., 2016, pp. 3315–3323.
- B. Woodworth, S. Gunasekar, M. I. Ohannessian, and N. Srebro, “Learning Non-Discriminatory Predictors,” arXiv:1702.06081 [cs], Feb. 2017.
- M. B. Zafar, I. Valera, M. Gomez Rodriguez, and K. P. Gummadi, “Fairness Beyond Disparate Treatment & Disparate Impact: Learning Classification without Disparate Mistreatment,” 2017, pp. 1171–1180.
原文為 Trustable AI — 機器學習公不公平?
