Machine Learning 共筆 Week 10

Logistic Regression Problem

• 首先先來看看 Learning flow

有沒有病可以是二元分類的問題
但如果我們想知道的是機率，那他就屬於 soft binary classification
因為我們有興趣的是 0~1 之間的值

• 在 target function 為下圖的情形下，我們要怎麼找到一個跟 target function 接近的 hypothesis?

• 在理想狀態下，我們可以由 given x 來求出 y (也就是 p) 並把他當作 label 來學習
• 實際上的狀況就是會有 noise，舉例來說，理想狀態下可以推斷發病機率或許是 0.2 或 0.3，但實際上我們只會知道觀察對象是發病還是沒發病

那到底 Hypothesis 長相會是什麼?

• For x = (x0, x1, x2, · · · , xd ) ‘features of patient’, calculate a weighted ‘risk score’:

• logistic function θ(s)

• Logistic function 的特性就可用於二元判斷，我們也拿他來描述 Logistic regression problem 的 hypothesis，如下圖:

補充資料:

(1)
https://taweihuang.hpd.io/2017/12/22/logreg101/
我覺得這個人寫的不錯欸，但最大概似法之後的議題我還沒有認真看

(2)
最大概似法的舉例
https://molecular-service-science.com/2012/06/30/statistical-estimation/

Logistic Regression Error

• 回顧過去幾種output space
  共通點是都需要 利用 w 和 x 來計算一個 score

• 現在的問題: 找出 logistic regression 的 err
• 接下來的推導依循以下步驟
  - 以 h 約等於 f 的方式將 f 都替換成 h
  - 以最大概似法來求出

• 並且求出

• 但為什麼要使用最大概似法
  體會一下:
  https://molecular-service-science.com/2012/06/30/statistical-estimation/

Gradient of Logistic Regression Error

上一節我們找出了 Ein
這節要來找出一個 w 來讓 Ein 最小

• 之前在 Linear Classification 的時候我們得出 Ein(w) 最小的時候有一些條件:
  - 線性可微、線性二次可微
  - convex
  - 我們假設 Logistic Regression 也一樣，要求得最小的 Ein(w) 則要找到偏微 Ein(w) = 0
• 微分的推導參考投影片的講解，最後會得出:

• 因為找不到像 Linear Regression 一樣好的 closed-form solution，所以我們採用 PLA
• 將PLA演算法步驟簡化成簡單式子

Gradient Descent

上一節我們得出

從PDF來看的話會有兩種不同的元素來逼近最佳解

• direction
• step size