自CNN出現後，後續發展很快。DenseNet便是其一，論文於2016年發表。大綱如下，如果卷積網絡包含接近輸入的層和接近輸出的層之間有較短連接，則卷積網絡可以更深入，更精確和有效地進行訓練。DenseNet便是基於這樣想法而設計的，它以前饋方式(feed-forwar…
碳水循環飲食（carbohydrate cycle, carbo…
它是機器學習算法的一個常見應用，主要用於非監督學習問題，換個角度看，它又類似於一些監督學習問題。簡單來說，就在一群東西中，找出和大家都不一樣的東西。如何定義＂一樣＂與＂不一樣＂，就是它要討論的東西。
2014年GoogleNets被提出，它在ImageNet分類競賽打敗VGG。那時候的Inception Net稱為V1版本(2014)。相較於Alexnet或VGG，網絡深度設計不斷加深。Inception就是在廣度上增加，並使用不同的捲積核大小(3x3，5x5，1x1)，來提取不同的特徵。但隨之而來參數量太大問題，就是使用了1x1的捲積降維了。所以在V1的特點就是:
身為最後生還者的粉，紀錄一下自己當前的憤怒，並提醒關注後續發展。總之，第二部就是糞作。下面影片說得好，幽默到位卻不失憤怒，人才!!
小批次梯度下降 (mini-batch gradient descent)
若拿整個訓練集做梯度下降演算法時，必須處理過所有的訓練資料，才能踏出梯度下降的一小步，然後你必須再處理過整個訓練集。例如有五百萬筆資料，每處理完五百萬筆，才能再踏出梯度下降的另一小步。
一個更快的方式是，把訓練集分割成比較小的， 一堆小小的資料集，我們稱他們稱為 "mini-batches"…
這篇是論文 "Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning" 的學習心得。
Federated Learning…
These were the top 10 stories published by 學以廣才; you can also dive into yearly archives: 2018, 2020, 2021, and 2024.
