參數估計 Part 4: Empirical Bayes Part II

<圖學玩家 第028篇 原創文>

Introduction

上一篇經驗貝式估計的文章中提到的Robbins Estimator與James-Stein Estimator，都有對其Prior做假設(Bernoulli與Gaussian)。然而在Tweedie’s Formula中，並不對Prior的形式做特殊要求，只假設其存在： μ∼g(⋆)

Tweedie’s Formula

可以看出，Tweedie’s Formula估計的第一項就是MLE，而第二項可以看成在MLE基础上做的貝氏修正。這裡要注意的是，Tweedie’s Formula給的僅是對Posterior的期望。

詳細推導如下，這裡假設Likelihood為一正態分布 p(x|θ) ~ N(θ, σ²):

這公式代表，我們不需對Prior做任何形式上的要求，只要其存在，我們就可以求出Posterior的期望!

Application

Regularization

在這篇文章中有將(James-Stein Estimator & Tweedie’s Formula)與
(Ridge & Lasso)的做比較，可以看出這些經驗貝式估計實際上有Regularization的性質(避免Overfitting)。

Selection Bias

針對選擇性偏差的問題，Tweedie's Formula也能做出修正。先帶大家看看實際Selection Bias的描述與實驗情況:

Selection Bias, referenced from Tweedie’s Formula and Selection Bias

下圖Y軸上的紅Bar，是m = 100的z值，也就是z(1) ~ z(m)。而橘色星星則是與之對應的μ(1) ~ μ(m)。可以看出，實際觀測到的z值，確實要比μ來的高。

而如果我們針對每個觀測到的z值，套用Tweedie’s Formula去估算μ^，也就是:

比較下圖藍色柱狀圖 (μ^i - μi) 與原始紅色柱狀圖 (zi - μi)，可以看出Selection Bias的情況有所改善。

藍色柱狀圖 (μ^i — μi)的誤差較集中在0的地方

系列文章:

1. 參數估計 Part 1: MLE
2. 參數估計 Part 2: Bayesian Estimation
3. 參數估計 Part 3: Empirical Bayes Part I

Ref:

1. 统计与统计学习那些事
2. 一文解释 经验贝叶斯估计
3. Tweedie’s Formula and Selection Bias