【Bayesian Inference 貝氏統計 — 02】貝氏統計的基本介紹 － 下 — Prior distribution 和 Bayes rule
在上篇內容中，我們介紹 decision function 和 minimax rule，還有 Bayesian approach 和 frequentist approach 的差別。
本篇將介紹 prior distribution 和 Bayes rule，並使用幾個例子讓大家能夠更深刻地理解。
首先，讓我們來看什麼是 prior distribution。
Prior distribution, Bayes risk, Bayes rule
Prior distribution 為在平行世界中的一個 probability distribution，根據此平行世界，我們得到一組 random element Θ。
The Bayes risk of a decision function d is B(d)=E_Θ[R(Θ,d)]
依照這個方法，θ 轉變為單一數值，用 prior distribution 當做權重，計算每個 risk 的加權平均。且只跟 d 有關，和 θ 無關。
Bayes rule：選擇一個 decision function d** 使 Bayes risk B(d) 最小
我們來看一個例子。
Example 3. Steel Selection of Firm Stratum
建築公司要決定這棟建築物要打多深的地基，實際深度有兩種可能：40 ft（θ₁）和 50 ft（θ₂）。
建築公司打地基的深度也有兩個選擇：40 ft（a₁）和 50 ft（a₂）。
Loss function l(θ, a)
Data
工人利用超音波偵測器測量深度，在不同平行世界中得到的資料的機率分佈不同，每個平行世界中的機率總和為 1。
考慮以下四個 decision rules：
d1 和 d2 都沒有使用到資料，d3 和 d4 有考慮到資料。
在做選擇之前，我們先來計算每個決定的 risk。
Risk functions 是 loss 的平均值：
以下使用 minimax rule 和 Bayes rule 兩個方法，比較用不同方式做出的選擇是否會不同。
Minimax rule
在四個決策中，所有最大的 risk 的最小值為 d2，因此選擇 d2。
Bayes rule
根據 prior distribution：g(θ₁)=0.8, g(θ₂)=0.2。
這個 prior distribution 可能來自過去的經驗，在之前的統計定理中，θ 都是未知的，而在 Bayesian approach 的 θ 則為 random vairables。
由上述的 Bayes risk 計算可得出 d3 的 risk 最低的結論，因此 d3 是最好的選擇。
最後，我們再將 Bayes rule 套用在工廠的例子。
Example 4. Sampling Inspection
一間工廠生產出一批貨物，共 21 個，廠長隨機挑選其中一個測試其是否損壞。
廠長有兩種選擇：
(1) 販售剩下的 20 個貨物，一個 1 元。如果有任何商品損壞，則賠償雙倍金額，也就是 2 元
(2) 丟掉所有貨物，損失 1 元
令 20 個商品中，毀損的商品佔 m 個，此數量是未知的。
k 為總共 21 個商品中，毀損商品的個數，也是未知的。k = 0, 1, 2, …, 21，意即總共有 22 個平行世界，我們不知道我們身處哪個一個平行世界。
Data
X = 1，如果廠長測試的貨物是良好的
X = 0，如果廠長測試的貨物是損壞的
X 的分佈為 Bernoulli(1-k/21)
p(X=0|k) = k/21
p(X=1|k) = 1-k/21
Decisions
總共有兩種 decisions：
d1：如果測試的商品是良好的，則販售全部；若毀損，則丟棄全部
d2：無論如何都販售，沒有使用到資料
Loss
Risk
k 要帶入什麼數值，以計算 Bayes risk 呢？我們假設 k 的 prior distribution 是 Binonmail (21, p)，則：
將此式帶入，計算得
B(d1) = -20 + 61p — 40p²
B(d2)=40p-20
由圖示可知，當損壞率小於 0.5 時，d2 的 risk 較小；反之，當損壞率大於 0.5 時，d1 的 risk 較小。
Reference
- 統計學，清大統計所的鄭少為老師：http://www.stat.nthu.edu.tw/~swcheng/Teaching/math2820/index.php
想要更深入了解的話，別忘了去最上面的目錄看其他章的課程筆記！
喜歡這篇文章或是對你有幫助的話，別忘了拍手給我鼓勵哦 👏🏻
