簡單線性回歸的顯著性檢定(Significance test)

以Auto MPG Data Set作為例子。

本文介紹線性回歸的顯著性檢定，並輔以Auto MPG Data Set作為實例分析。

何謂顯著性檢定(Significance test)

顯著性檢定就是檢驗檢定統計量(Test statistics)是否落在拒絕區域(顯著水準α臨界值之外)，如果落在拒絕區域，我們便說這個假設檢定是達到統計上的顯著(statistical significant)。

• Test statistics就是從樣本算出來的一個值，通常會趨於某種機率分布
• 顯著水準α就是要認定Test statistics為顯著的嚴苛程度，如果顯著水準α越小，表示Test statistics必須是更加『極端』的值，才能夠達到統計上的顯著。

如下圖所示，假設test statistics服從常態分布，顯著水準為5%，因為是雙邊檢定，表示test statistics如果太大or太小，我們都認定是顯著的，因此在檢定時兩邊方向的拒絕區域必須是除以2，變成2.5%。如果test statistics落在兩邊紅線之外的拒絕區域，我們便認為達到統計上的顯著(statistical significant)。更詳細的說明可以參考假設檢定基礎觀念。

回歸分析要檢定什麼?

簡單線性回歸的數學表達如下：

X就是我們可以控制的自變數，y則是我們感興趣的應變數。β0為截距，β1則是X的係數，可理解為權重。

在此可以參考筆者先前的文章簡單線性回歸(Simple Linear Regression)的公式推導(Formula Derivation)，利用最小平方法(least squares method)，可以得到以下的不偏估計式

假設檢定的根本原因在於，任何估計都會存在誤差，上面的估計式自然也不例外，在進行回歸分析時，我們通常會從兩個面向進行顯著性檢定。

1. 迴歸模型中的單一解釋變數。檢定該自變數之β係數是否為0。適合用來判斷自變數的去留，變數的估計係數與該估計係數的標準誤會決定t檢定的結果。
2. 整個模型(整組變數)。檢定迴歸模型中的β係數是否全部為0(β1)，適合用在考慮加入一個或…