Machine Learning 共筆 Week 9

前言:
Week9 和 Week10 在學習過程中一度重創大家的信心啊, 還好從討論中我們弄清楚很多盲點, 共筆寫得可能不夠完整, 有討論還是滿重要的事, 真的很建議正在看兩週的學習者找個夥伴啊。

本週四個主題主要描述:

1. Linear Regression 最主要拿來解決什麼樣的問題
2. Linear Regression Algorithm 是什麼
3. 確保 Eout 和 Ein 之間的差距約=2(d+1)/N
4. Linear Regression 也能用在 Binary classification 上

Linear Regression Problem

• 應該給信用卡申請者多少的信用額度?

額度是實數所以採用 Linear Regression

• 那 Hypothesis set 應該要長什麼樣子?

(加權過後跟 ideally 能給申請者的使用額度相近)

• 跟 Perceptron 類似但不需要給出 sign
• Illustration of Linear Regression:

找出一個最好的線或是平面來描述資料點

2D 和 3D 的差別

只剩下一個問題了: 要怎麼 minimize Ein(w)

Linear Regression Algorithm

• 目標: 求得最小的 Ein
  所以要求得最好的 w
• Ein 公式

最後會收斂成以下公式:

• 物理意義:

- Ein(w) 連續、可微、convex
- 有最佳解

下一個任務: 找到一個最佳的 W_LIN 來讓 gradient Ein(w) = 0

• 推導邏輯
  - 將 Ein 展開
  - w 只有一維的時候 → w 多個維度的時候

能求得反矩陣 (有唯一解) 和不能求出反矩陣 (有多個局部最佳解)

結論是要求出最佳的 w 的三個步驟:

• 將資料做成兩個矩陣 X, Y
• 計算 pseudo-inverse X+
• return W_LIN = (X+)Y

Generalization issue

由於問題看似沒有被學習就解決了，會需要辯證一下，以下是正反方的說法

結論

只要 Eout(W_LIN)夠好，Learning happened!

• 跳過向量證明，以 Learning Curve 的圖來理解意義，但有件事值得記錄一下:

求 Y^-Y 最短距離的方法就是把向量投影在平面區域上

• The Learning Curve:

這張圖的意義是在告訴我們:

在N很多的時候，Eout-Ein 值會很靠近 2(d+1)/N，也就是差距會是一個可知的數

Linear Regression for Binary Classification

• 分別列出 Linear Classification 和 Linear Regression 的要素來比較異同

看起來如果能用 Linear regression 的話會比較簡單

• 看起來兩者有分歧的地方在 error measurement

以圖形來判斷兩者大小

因為 err[0/1] ≤ err[sqr]，可以把之前在VC那邊推導出來的結果替換
並且得出使用 Linear Regression 比較有效率的結論