Epoch, Batch size, Iteration, Learning Rate

這幾個字眼在訓練 AI model 或閱讀 Paper 時都很常出現，這篇文章會以簡單的舉例來說明它們之間的關係。

反向傳播算法（ Backpropagation Algorithm ）

藉由微積分中的鏈鎖律（Chain rule）使神經網路能更有效率地收斂

梯度下降學習法（Gradient Descent Learning Rule）

對神經網路的權重做偏微分，即可求得誤差函數的梯度，那就能藉此尋找誤差的極小值，便可對神經網絡進行優化

論文閱讀 CVPR 2020 — RetinaFace: Single-shot Multi-level Face Localisation in the Wild