Machine Learning學習日記 — Coursera篇 (Week 4.1):Non-linear Hypothesis, Neurons and the Brain

Pandora123
4 min readJun 2, 2016

--

Motivations

回目錄:Coursera章節

上一篇:Regularization

下一篇:Neural Networks

大綱

  1. Non-linear Hypothesis
  2. Neurons and the Brain

1. Non-linear Hypothesis

Why do we need Neural Network?

假設今天要分類出下圖中的圈圈和叉叉的話,我們可以使用logistic regression來做這個分類

但是這有個問題:如果今天features很多的時候(像是:100個)怎麼辦?

100個feature假如我們只採計每個feature的平方項(x1²,x1x2,x1x3,...x1x100,x2x1,x²,x2x3,...,x100²)

便需要將近5000個多項式,更不用說我們可能還要用到一次方項目、三次方項目...

當feature一多的時候,會使得先前提到的:linear regression,logistic regression...等的計算成本指數上升

需要很多feature的問題在現實生活並不少見,舉例:辨識汽車便需要將每個不同pixel取出來進行運算,50*50 pixels就是2500個features了,如果是彩色RGB的話就會變成7500個features....

隨堂練習

Suppose:假設 / recognize:辨識 / intensity:密度 / quadratic terms:平方項

Ans:

million:百萬的

2. Neurons and the Brain

Background on Neural Network

Neural Network的起源是為了模仿人類的大腦,並在1980開始興盛。

但是在1990之後熱潮開始慢慢的消退了,主要是因為當時的電腦運行速度沒有辦法支援Neural Network的運算需求。而隨著現今電腦的進步,Nerual Network又變得熱門起來。

而大腦展現著很多的功能:看、聽、說、運動...

這是否意味著如果我們要模仿一個大腦的話,必須寫出很多個不同功能的程式呢?

Andrew說明,大腦事實上是用同一種演算法來學習這些機制。

Auditory:聽覺的 / Cortex:皮層

像上圖所示,在sensor(不論是耳朵、眼睛)收到聲音之後,會將訊號傳給大腦皮層,而大腦皮層將會使用單一的演算法學習

也就是說,如果我們將眼睛收到的訊號傳給耳朵區的大腦皮層,將會訓練耳朵區的大腦皮層讀懂眼睛所看到的影響。

就像是下例中,有實驗將大腦所帶的視覺感控器所讀入的影像轉變成訊號傳送至舌頭。

而實驗人員在經過訓練後,將可以經由舌頭上的訊號來得知該感控器所看到的影像

tongue:舌頭

上述例子的新聞影片xD:Blind Learn To See With Tongue

--

--