AI入門：ML學習筆記[AI-005]_Logistic Regression

本篇文章為個人學習Hung-yi Lee老師ML課程筆記。

Source: https://www.youtube.com/watch?v=hSXFuypLukA&t=183s

邏輯斯迴歸 vs 線性迴歸

前者因有通過Sigmoid function，output為0~1，後者無限制。

Sigmoid function ：
數值越大，結果趨近於 1，數值越小，結果趨近於0

找最大化L(w, b)：
L 為將X1, X2, X3分類的機率相乘。將分類以 C1(class1) 代為y_hat1 = 1；C2(class2)代為y_hat2 = 0。

得Logistic Regression的Loss Gunction為兩個Bernoulli之Cross Entropy：

為什麼不能用Square Error當作Loss function?

可能導致做Gradient Descent 失效。

• 距離太近和太遠都會停下，調整learning rate也無法解決。

Discriminative vs Generative

• Discriminative 算條件機率 (conditional probability)／p(Y|X)
  優點：對於outliers 相對穩健。
• Generative 算聯合機率分佈 (joint probability) ／ p(X, Y), p(X|Y)
  優點：錯誤資料或雜音(noise)多、資料筆數少時 表現好。

google developers網站說明，Source: https://developers.google.com/machine-learning/gan/generative?hl=zh-cn

Logistic Regression 屬於 Discriminative Classifiers

拓展至 Muti-class Classification

cross entropy運算需加負號。source: https://www.youtube.com/watch?v=hSXFuypLukA

Softmax

透過函數轉換，將大的值強化，小的值弱化，並將範圍壓縮至 0-1。
在此透過函數轉換後，在計算Cross Entropy Error輸出損失。

這篇原文有相當好的解釋。Source: https://deepai.org/machine-learning-glossary-and-terms/softmax-layer

Logistic Regression 的限制

boundary只能為直線，若資料如圖，需要進行資料轉換(可自定義)。
難度就在於如何進行資料轉換，才能將資料分的乾淨。

將X1, X2改為算距離，就解決了左方分佈無法一刀切開紅、藍兩群的難題。Source: https://www.youtube.com/watch?v=hSXFuypLukA

Logistic Regression vs Linear Regression

前者做資料切分，後者找最fit資料的函數。

• Logistic Regression用來做分類問題，在參數型學習(parameter learning)需要採最大概似函數估計法 (Maximum Likelihood Estimation, MLE)求解，得出beta值。
• Linear Regression則用最小平方法求解，得beta值。

單個 Logistic Regression就相當於一個神經元；

多個 Logistic Regression疊加相當於類神經網路(Neuron Network)，藉此代表像人思考一樣。