2014年GoogleNets被提出，它在ImageNet分類競賽打敗VGG。那時候的Inception Net稱為V1版本(2014)。相較於Alexnet或VGG，網絡深度設計不斷加深。Inception就是在廣度上增加，並使用不同的捲積核大小(3x3，5x5，1x1)，來提取不同的特徵。但隨之而來參數量太大問題，就是使用了1x1的捲積降維了。所以在V1的特點就是:

• 加寬網路廣度，使用多種的捲積核來提取不同的特徵
• 引入 1x1 的捲積層降維(降低計算)

Inception-v4/Inception-ResNet (2016)

這篇是論文 "Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning" 的學習心得。

這是為了預習學校此周的課程，學習吳恩達老師的序列模型心得，亦參考他人學習心得而做的筆記。

Vanishing gradients with RNNs

很早出現的字詞，仍會對後面出現的字詞有影響。但基本RNN模型，仍不擅長捕捉這種連結 (因為可能會是很深的網路)。所以RNN也會出現梯度消失/爆炸的問題。

這是為了預習學校此周的課程，學習吳恩達老師的序列模型心得，亦參考他人學習心得而做的筆記。

Language model and sequence generation

語言模型是自然語言處理（NLP）中最基本和最重要的任務之一，RNN能夠很好地建立不同語言風格的語言模型。 舉例來說，在語音識別中，某句語音有兩種翻譯：

接續前文，補完學習筆記。

Word2Vec

用下句為例，來了解Skip-Gram模型的做法。

I want a glass of orange juice to go along with my cereal.

這是為了預習學校此周的課程，學習吳恩達老師的序列模型心得，亦參考他人學習心得而做的筆記。

為什麼使用序列模型?

遞歸神經網絡或RNN這樣的模型，在 語音識別/音樂生成/DNA序列分析 非常有用。 這些問題都可視為監督式學習，但輸入x和輸出y不一定都是序列模型。若都是序列模型的話，模型長度也不一定完全一致。