StatQuest 筆記分享: 人工神經網路3 — ReLU

在第一篇人工神經網路1 — 解密黑盒子中，Josh使用Soft Plus當作活化函數來擬合(Fit)訓練資料。

在本影片Josh要來Demo另一種在深度學習和卷積神經網絡常用的活化函數: ReLU (Rectified Linear Unit)。其數學式通常表示為: f(x) = max(0,x)。

除了兩個在隱藏層的活化函數，Josh也在輸出層也佈置一個ReLU活化函數。與第一篇一樣，Josh會Demo在已經找到最佳解的情況下，ReLU活化函數是如何擬合訓練資料的?

1. 上方藍色線部分:

1.1 上左半部:

1.1.1 第一個資料點Dosage = 0:

• (0 * -1.7) + (-0.85) = -0.85，此為上方活化函數的x，將此數值代入ReLU活化函數f(-0.85) = max(0,-0.85) = 0。

• 將算出的(Dosage, Output) = (0 , 0) 繪製至座標軸上。

1.1.2 增加Dosage至 0.2:

• (0.2 * -1.7) + (-0.85) = -0.51，此為上方活化函數的x，將此數值代入ReLU活化函數f(-0.51) = max(0,-0.51) = 0。
• 將算出的(Dosage, Output) = (0.2 , 0) 繪製至座標軸上。

1.1.3 增加Dosage至 0.4:

• (0.4 * -1.7) + (-0.85) = -0.17，此為上方活化函數的x，將此數值代入ReLU活化函數f(-0.17) = max(0,-0.17) = 0。
• 將算出的(Dosage, Output) = (0.4 , 0) 繪製至座標軸上。

1.1.3 增加Dosage至 0.6:

• (0.6 * -1.7) + (-0.85) = 0.17，此為上方活化函數的x，將此數值代入ReLU活化函數f(0.17) = max(0,0.17) = 0.17。
• 將算出的(Dosage, Output) = (0.6 , 0.17) 繪製至座標軸上。

1.1.4 持續增加Dosage並繪製在座標軸上，會得到一條藍色的折線。

1.2 上右半部:

• 將1.14得到的藍色的折線乘上-40.8。得到一條很陡方向向下的新的藍色折線(下方圖例僅為了展示，實際上的斜率會更陡)。

2. 下方橘色線部分

2.1 下左半部: 照著與1.1一樣的流程，逐步將Dosage值計算後代入下方的活化函數中，接著將得到的數值繪製在座標軸的到一條橘色的直線。

2.2 下右半部: 接著將2.1的橘色值線乘上2.7。得到一條斜率更陡的橘色直線。

3. 整合

3.1 將1和2得到的藍色折線和橘色直線整合後，會得到一個倒V型綠色線。

3.2 將倒V型綠色線減16，意味向下移動16個單位，

4. 代入最後的ReLU活化函數: 由於ReLU函數的特性，小於0的數值代入函中會產出0，因此，整個倒V型綠色線代入ReLU活化函數中會呈現向下方的帽型線段。

Enjoy it!!