假設檢定基礎觀念

用一個簡單實例,引領讀者逐步窺探假設檢定的基礎觀念。

邱秉誠
Carrot Cheng的數據分析
Aug 18, 2020

--

假設檢定就是經由觀察一組數據,推論一個對母數的估計是否正確。我們通常會選擇一個合適的檢定統計量,如果檢定統計量在基於特定分配底下出現的機率很低,我們就會推翻虛無假設,認為對母數的估計是錯誤的。

簡單的實例

舉個例子。假設有人宣稱國人的身高均值是168公分,你要怎麼推翻他的宣稱為錯誤?最直覺的方法就是隨機找30個路人,將他們的身高加總取平均,結果發現抽樣平均只有167公分,與他宣稱的168公分有落差,因此你懷疑他的宣稱是錯誤的。

假設檢定就是透過機率統計,試圖推翻一個對母體的假設的過程。

延續上述例子,要如何考量抽樣的誤差,以及如何用機率來描述樣本平均167公分和母體均值為168公分這段差距,需要有更嚴謹的一套流程。例如對方如果不服氣,於是反問你,請問在基於你的觀察樣本底下,國人的身高均值的確是168公分的機率有多少?我相信憑"感覺"是很難繼續回答這個問題了。事實上這是典型的型一錯誤(Type I Error),有興趣讀者可以繼續參閱這篇如何計算型一錯誤(Type I Error)、型二錯誤(Type II Error)的機率

如果想要知道樣本平均167公分距離母體均值168公分有多"不可能",我們需要藉助機率分布的概念,因為機率分布可以告訴我們任何觀測值發生的"可能性"

在毫無頭緒的情況底下,將隨機抽取得到的身高樣本值,視為服從常態分布隨機變數,通常是個不錯的選擇,這就是常態分布如此強大、好用的地方,因為世界上大多數的變數都是服從常態分布。

每個連續型機率分布都有自己的一個機率密度函數(Probability density function),輸入就是變數的實現值,輸出就是這個變數發生的"可能性"。常態分佈的機率密度函數為:

其中σ就是標準差,μ就是期望值。按照那個人所宣稱的,國人身高平均μ=168公分,假設標準差σ=3,則按照這個機率密度函數繪製出來就是一個如下的鐘形分配:

再複習一次,常態分布的機率分布能幹嗎?它告訴我們每個觀察值x發生的可能性,也就是隨機一個路人身高為x的可能性。但這個可能性並非機率,因為連續型機率分布的任何一點機率都是0。但是機率密度函數曲線下的"面積"總和卻是1,代表面積可以用來表示機率。

--

--

邱秉誠
Carrot Cheng的數據分析

畢業於台大工業工程所,目前任職於台積電。