[ML]Stanford 機器學習 課程筆記: 多元迴歸、線性代數-002

本系列文為筆記Stanford ML課程筆記。

課程資訊: https://www.coursera.org/learn/machine-learning/home/welcome
導師: Andrew Ng

• Multiple Features
• 基礎線性代數 Linear Algebra

Multiple Features

將簡單線性迴歸推展至多元迴歸，Xi有多個變數。

Source: Stanford Machine Learning, Andrew Ng

縮減其表示方式以下圖呈現

Source: Stanford Machine Learning, Andrew Ng

透過feature scaling+normalization，可以使Gradient Descent進行的更快。

例如：

學習率 Learning Rate

決定每一次iteration要調整的大小。

• 太小會有slow convergence問題，太大則會使J(theta)噴掉。

Normal Equation

Pros：

• 不需要做 feature scaling。
• 無須選擇學習率、進行迭代。

Cons：

• 當維度與資料龐大時，運算效率差。
• 時間複雜度為 O(n3)相對Gradient為O(n2)高。

基礎線性代數 Linear Algebra

Matrix如何查看?

矩陣大小用row x column，下圖範例為4x2 Matrix；
A12 (row=1, column=2)=191；

Source: Stanford Machine Learning, Andrew Ng

Vector 是一個 n x 1 Matrix。

回顧房價線性模型，如我們有三個hypotheses；
Xi 為House Sizes, Y為Price，我們即可計算出根據不同hypotheses的預測值。

Source: Stanford Machine Learning, Andrew Ng

矩陣特性

1. Commutative

2. Associative

3. Identity Matrix, I：對角線為1，其餘數字為0。

4. 反矩陣(Inverse Matrix)，兩矩陣相乘為單位矩陣(I)。

5. 轉置矩陣(Transpose Matrix)，row, column元素對調。

這門課要用Matlab寫作業…，暫且…跳過作業的部分。 QQ