NLP重頭學-004

多對一：一段影片判斷出一個情緒，時間順序沒有這麼重要
時間順序重要性：★

一對多：圖片標注，給一張圖片，電腦判斷內容在做什麼？時間順序就比較重要
時間順序重要性：★★★

多對多：翻譯句子，從頭到尾都需要累加的語意來判斷，不同累加方法就會導致意思差異很大。
時間順序重要性：★★★★★

NLP的任務中，語意很重要，時間關係也相當的重要。

RNN, LSTM

RNN：
將當前的輸入，和前一次的輸出一同合併，才會激活生成新的輸出。

Tanh長得和sigmoid很像，但是範圍是-1~1之間。

RNN的缺點 — 金魚腦模型

問題1：反向傳播（梯度下降）

問題2：正向傳播

如何將長期記憶加入我們模型？ → Long short term mermory

LSTM (Long short term mermory)

LSTM最後改良