AI入門:ML學習筆記[AI-005]_Logistic Regression
本篇文章為個人學習Hung-yi Lee老師ML課程筆記。
邏輯斯迴歸 vs 線性迴歸
前者因有通過Sigmoid function,output為0~1,後者無限制。
Sigmoid function :
數值越大,結果趨近於 1,數值越小,結果趨近於0
找最大化L(w, b):
L 為將X1, X2, X3分類的機率相乘。將分類以 C1(class1) 代為y_hat1 = 1;C2(class2)代為y_hat2 = 0。
得Logistic Regression的Loss Gunction為兩個Bernoulli之Cross Entropy:
為什麼不能用Square Error當作Loss function?
可能導致做Gradient Descent 失效。
- 距離太近和太遠都會停下,調整learning rate也無法解決。
Discriminative vs Generative
- Discriminative 算條件機率 (conditional probability)/p(Y|X)
優點:對於outliers 相對穩健。 - Generative 算聯合機率分佈 (joint probability) / p(X, Y), p(X|Y)
優點:錯誤資料或雜音(noise)多、資料筆數少時 表現好。
Logistic Regression 屬於 Discriminative Classifiers
拓展至 Muti-class Classification
Softmax
透過函數轉換,將大的值強化,小的值弱化,並將範圍壓縮至 0-1。
在此透過函數轉換後,在計算Cross Entropy Error輸出損失。
Logistic Regression 的限制
boundary只能為直線,若資料如圖,需要進行資料轉換(可自定義)。
難度就在於如何進行資料轉換,才能將資料分的乾淨。
Logistic Regression vs Linear Regression
前者做資料切分,後者找最fit資料的函數。
- Logistic Regression用來做分類問題,在參數型學習(parameter learning)需要採最大概似函數估計法 (Maximum Likelihood Estimation, MLE)求解,得出beta值。
- Linear Regression則用最小平方法求解,得beta值。
單個 Logistic Regression就相當於一個神經元;
多個 Logistic Regression疊加相當於類神經網路(Neuron Network),藉此代表像人思考一樣。