Machine Learning學習日記 — Coursera篇 (Week 1.2):Model representation, Cost function

Pandora123

6 min readApr 10, 2016

回目錄：Coursera章節
上一篇：Introduction
下一篇：Linear Regression with One Variable(下)

Linear Regression with One Variable(上)

Linear regression predicts a real-valued output based on an input value

綱要

Model representation
Cost function

1. Model representation

set:集合｜Notation:符號｜features:特性｜target:目標｜i th:第i個

大略描述一下之後會用到的符號意義，比較容易混淆的應該是x’s, y’s的表達

Hypothesis:假設｜estimated:估計的｜Univariate:單一變數

左圖大概就是machine learning的big picture，意思就是藉由learning algorithm來不斷改進hypothesis的預測精準度
右圖是一種表達hypothesis的方式：線性回歸的函數：hθ(x) = θ0+θ1*x。而hypothesis並不一定是線性的函數，它也有可能為非線性函數(各種曲線、畫不出來的形狀…)

2. Cost function

(以下皆為線性回歸函數)

那麼問題來了，如果給了一大群資料，那麼要怎麼選出最精準的參數呢？

可能會有人不懂為什麼要選什麼最精準的參數，下面的一張圖勝過千言萬語

選參數的原因就是為了能最貼近我們的訓練資料的分佈，才能在未來更加精準的預測未來的資料

下圖說明learning algorithm的目的

簡單的說，這個就是最小化”預測跟實際”的差距。

大家可能開始對下面這個頗長的函式有點壓力了

所以先注目著左方的J(θ0,θ1)就好，而這個J(θ0,θ1)就是我們要盡可能縮小的cost function

可能你會對為什麼要除以2m(而不是m)有疑問，應該是出於之後微分計算方便的考量：(節錄網上)
…it makes no difference, as you’ll get the same answer for your parameters (θ0, θ1, …, θn). My best guess is due to the fact that your cost function is quadratic(二次方的), when you take the partial derivative, and the derivative of y=x^k is kx^(k-1)dy/dx (chain rule), that you want the 2 from the power(次方項) to cancel with the 2m so you just get 1/m after taking the partial derivative(偏微分).

我知道大家一定會被hθ(x)跟J(θ0,θ1)搞的很混亂，慢慢來沒關係

先來想想我們的目的：要找到最精準的θ

所以我們使用J(θ0,θ1)這個函數，藉由輸入不同的θ0跟θ1來最小化所有預測跟現實的差距總和，以找出最好的θ0跟θ1。

再往J(θ0,θ1)裡面看深一點(Σ指的是後面那一大串函式的總和)

hθ(x)指的則是當給予固定的θ後，我們輸入不同的x值時，所得出的預測值

所以hθ(x)算出來的正是所謂的”預測”，y值則是”現實”

口說無憑，來看張圖吧

紅色的X就是我們被給予的資料(現實)，而黑色的線代表著我們的函式hθ(x)所包含的x與y對應值。而所謂預測與現實的差距就是藍色的線。
所以為了做出更精準的預測，我們就要將這條線(不一定是線性)盡量貼近我們的資料集，而J(θ0,θ1)所輸入的每一個θ0,θ1、每一次嘗試都是在畫出一大堆黑色的線(圖中只有一條)來算”預測跟現實”的差距。
這也就是為什麼我們要最小化”預測跟現實”的差距(藍色的線總和)

(不然你哪知道那一大堆黑色的線(hθ(x))誰最貼近現實啦!!)