簡單線性回歸的顯著性檢定(Significance test)
以Auto MPG Data Set作為例子。
Published in
Apr 19, 2021
本文介紹線性回歸的顯著性檢定,並輔以Auto MPG Data Set作為實例分析。
何謂顯著性檢定(Significance test)
顯著性檢定就是檢驗檢定統計量(Test statistics)是否落在拒絕區域(顯著水準α臨界值之外),如果落在拒絕區域,我們便說這個假設檢定是達到統計上的顯著(statistical significant)。
- Test statistics就是從樣本算出來的一個值,通常會趨於某種機率分布
- 顯著水準α就是要認定Test statistics為顯著的嚴苛程度,如果顯著水準α越小,表示Test statistics必須是更加『極端』的值,才能夠達到統計上的顯著。
如下圖所示,假設test statistics服從常態分布,顯著水準為5%,因為是雙邊檢定,表示test statistics如果太大or太小,我們都認定是顯著的,因此在檢定時兩邊方向的拒絕區域必須是除以2,變成2.5%。如果test statistics落在兩邊紅線之外的拒絕區域,我們便認為達到統計上的顯著(statistical significant)。更詳細的說明可以參考假設檢定基礎觀念。
回歸分析要檢定什麼?
簡單線性回歸的數學表達如下:
X就是我們可以控制的自變數,y則是我們感興趣的應變數。β0為截距,β1則是X的係數,可理解為權重。
在此可以參考筆者先前的文章簡單線性回歸(Simple Linear Regression)的公式推導(Formula Derivation),利用最小平方法(least squares method),可以得到以下的不偏估計式
假設檢定的根本原因在於,任何估計都會存在誤差,上面的估計式自然也不例外,在進行回歸分析時,我們通常會從兩個面向進行顯著性檢定。
- 迴歸模型中的單一解釋變數。檢定該自變數之β係數是否為0。適合用來判斷自變數的去留,變數的估計係數與該估計係數的標準誤會決定t檢定的結果。
- 整個模型(整組變數)。檢定迴歸模型中的β係數是否全部為0(β1),適合用在考慮加入一個或…