Neural Networks and Deep Learning Week 4

Deep Neural Network

Jack Pan
ML² Notes
3 min readJan 8, 2018

--

將上一週的兩層 Neural Network 繼續加入更多層,如:四層五層,即是深度神經網路。

在建置深度神經網路時,確認各個變數或參數的維度正確,可以降低 Bug 的發生率。

n^[l] 代表 l 層共有幾個節點。

當層數加大時, Neural Network 越可以將低層的特徵,以有效率的方式結合,讓整個模型能夠學習複雜的問題。

以人臉辨識為例,低層次的部分,會學習到如線條邊緣等特徵,將這些特徵組合會形成單一眼睛、鼻子等輪廓,再將這些特徵組合,即可以合成一張臉。

另一個例子是,若要學習 x1 XOR x2 XOR x3 … XOR xn 的函數。很明顯下圖左邊是更有效率的表示方式。

Parameters: W 與 b 。

Hyperparameters: Neural Network 的層數、每層的節點數量、 Activation Function 、 Learning Rate ……等,需要人工設定的部分。

Note on HW

使用五層的神經網路,將先前辨識貓的模型準確度從 70% 提升到 80% 。

但對於如上圖這些例子,仍是辨識錯誤的樣本。

作業中歸納幾個原因:
* 貓的身體位置比較不一樣
* 貓和背景顏色很像
* 不常見的貓顏色與品種
* 角度、亮度、貓在圖中很大或很小

--

--