Backpropagation 紀錄
Published in
2 min readJun 22, 2020
針對Backpropagation做學習紀錄
之前在學習machine learning都會經過backpropagation這塊，一直以來大概都知道是經過 chain rule + gradient decent的原理來做實作，但常常要複習時就會忘記，特此紀錄。
下兩張圖（圖來源：Back-propagation）以用w¹₁₁的梯度下降為例，很明白的解釋了chain rule + gradient decent的原理，透過forward propagation有些值可以得出，最末端的1.則是可以根據不同Lost function公式來得到。
下圖來源：李宏毅老師的機器學習影片截圖
得到了backpropagation所求出來的各個weight的梯度下降
再根據Gradient decent的公式做後續的計算更新gradient
透過重複訓練（forward propagation + backpropagation）來更新weight的值
主要參考來源：李宏毅老師的機器學習影片 & Back-propagation
