【統計 — 2】點估計、抽樣分佈、信賴區間和假設檢定

首先，先來看一題是非題：

給定一個母體（population）和一個固定的樣本大小 n，只會有一種點估計的抽樣分佈。

答案：是。

為什麼呢？

• 抽樣分佈是指形狀，不是確切在直方圖中每一個 bar 的高度。
• 這就是中央極限定理的概念，每次繪製抽樣分佈時，都會是常態分佈，且中心為真正的母體參數。

樣本數 n 越大，抽樣分佈則會越窄，且對於大部分的點估計（平均數、中位數和變異數），抽樣分佈都會越接近鐘型曲線。

如果我們已知抽樣分佈（sampling distribution），即可推得母體參數（population parameter）。

但是現在的問題就是，我們不知道母體，因此無法抽樣，進而無法獲得抽樣分佈。

在現實世界中，我們不可能重複抽取 1000 次大小為 n 的樣本，我們只能抽樣一次（a single representative sample），且希望此次能夠抽樣越大越好。所以，我們需要方法來估計 sampling distribution

解法：使用 bootstrap sampling。

什麼是 bootstrap 呢？讓我們來介紹步驟。

現實生活中我們只會有一組樣本（大小為 n），如果反覆在這組樣本中抽出大小為 n 的集合，且取後放回，並計算每一個集合的點估計值（point estimate），則可以得到抽樣分佈的估計，稱之為 bootstrap distribution。

以下表格比較 bootstrap distribution 和抽樣分佈（sampling distribution）的差異：

我們使用 bootstrap sampling 的目的並非獲得點估計，因為如果想要估計的話，直接從樣本計算即可，我們的目的是要估計抽樣分佈本身。

值得注意的是，bootstrap distribution 的中心可能不會和抽樣分佈的中心相同，但是形狀和分佈會很接近，意即 bootstrap distribution 帶給我們很好的標準誤（standard error）估計。

信賴區間

我們無法確定信賴區間是否包含母體參數，因為我們永遠都不知道真實的母體參數值。我們只能說在95% 的信心水準下，95% 的信賴區間會包含真正的母體參數值。

對於信賴區間常見的錯誤說法：95% 的信賴區間代表有 95% 的機率會包含母體參數值。

這句話是錯的！因為信賴區間包含母體參數值的機率有只可能是 0 或 1。

信賴區間的寬度被

(1) 信心水準的影響：越有信心，信賴水準越高，則信賴區間會越寬

(2) 樣本大小的影響：越大的樣本大小會產生越窄的信賴區間，且標準誤也會隨之降低

假設檢定（Hypothesis test）

• 虛無假設（null hypothesis）：毫無差別、無效果
• 對立假設（alternative hypothesis）

做假說檢定的目的不是試著去找真實的母體參數值，而是要確認是否有足夠的證據證明樣本違反假說檢定。

做假說檢定需要的元素：

• test statistic：根據一組樣本觀察值計算而得的統計值
• observed test statistic：我們在真實世界裡觀察到的統計值
• null distribution：在假設 null hypothesis 為真的情況下，test statistic 的抽樣分佈

the p-value

• 在 null distribution 看到這個資料（what we observed in the real world）的機率， say if p = 0.01，代表在 null distribution 看到這個機率很小，所以可以推翻虛無假設（因為在 null distribution 發生的機率太小了，但我們在現實中觀察到了，所以代表虛無假設是錯的）
• significance level：用來設定那個 cutoff，到底要發生的機率多小，我們才會說這個存在在 null distribution 的機率太小，而拒絕 H0

Types of error

Type I Error（α）

• 發生在當虛無假設 H0 是對的，但我們錯誤地拒絕 H0
• The significance level → the probability of Type I Error

Type II Error（β）

• 發生在當虛無假設 H0 是錯的，但是我們錯誤地接受 H0

Power（1-β）

• 當虛無假設和真實的抽樣分佈的重疊越大時，代表真實的抽樣分佈有更高的機會會有數值座落於 non-regjection 的 H0 中
• 如果我們說一個假設檢定是很 powerful 的，代表他有很高的機率發現 H0 是錯的，因此 power 的計算方式是 1 — β
• 當 β 越小，發生 type 2 error 的機率越低，則 power 越高

兩個可能會影響 type 2 error 的事情：

1. the effect size：真實母體參數值和在虛無假設中假設的數值
2. 樣本大小（the sample size）：當樣本數 n 變大，會讓抽樣分佈變窄，進而讓 null hypothesis 和抽樣分佈（sampling distribution）的重疊變小

想要更深入了解的話，別忘了去最上面的目錄看其他章的課程筆記！

喜歡這篇文章或是對你有幫助的話，別忘了拍手給我鼓勵哦 👏🏻