[ML]Stanford 機器學習 課程筆記: 多元迴歸、線性代數-002
本系列文為筆記Stanford ML課程筆記。
課程資訊: https://www.coursera.org/learn/machine-learning/home/welcome
導師: Andrew Ng
- Multiple Features
- 基礎線性代數 Linear Algebra
Multiple Features
將簡單線性迴歸推展至多元迴歸,Xi有多個變數。
縮減其表示方式以下圖呈現
透過feature scaling+normalization,可以使Gradient Descent進行的更快。
例如:
學習率 Learning Rate
決定每一次iteration要調整的大小。
- 太小會有slow convergence問題,太大則會使J(theta)噴掉。
Normal Equation
Pros:
- 不需要做 feature scaling。
- 無須選擇學習率、進行迭代。
Cons:
- 當維度與資料龐大時,運算效率差。
- 時間複雜度為 O(n3)相對Gradient為O(n2)高。
基礎線性代數 Linear Algebra
Matrix如何查看?
矩陣大小用row x column,下圖範例為4x2 Matrix;
A12 (row=1, column=2)=191;
Vector 是一個 n x 1 Matrix。
回顧房價線性模型,如我們有三個hypotheses;
Xi 為House Sizes, Y為Price,我們即可計算出根據不同hypotheses的預測值。
矩陣特性
- Commutative
2. Associative
3. Identity Matrix, I:對角線為1,其餘數字為0。
4. 反矩陣(Inverse Matrix),兩矩陣相乘為單位矩陣(I)。
5. 轉置矩陣(Transpose Matrix),row, column元素對調。
這門課要用Matlab寫作業…,暫且…跳過作業的部分。 QQ