YuuWay AI Lab
Published in

YuuWay AI Lab

NLP重頭學-004

多對一:一段影片判斷出一個情緒,時間順序沒有這麼重要
時間順序重要性:★

一對多:圖片標注,給一張圖片,電腦判斷內容在做什麼?時間順序就比較重要
時間順序重要性:★★★

多對多:翻譯句子,從頭到尾都需要累加的語意來判斷,不同累加方法就會導致意思差異很大。
時間順序重要性:★★★★★

NLP的任務中,語意很重要,時間關係也相當的重要。

RNN, LSTM

RNN
將當前的輸入,和前一次的輸出一同合併,才會激活生成新的輸出。

Tanh長得和sigmoid很像,但是範圍是-1~1之間

RNN的缺點 — 金魚腦模型

問題1:反向傳播(梯度下降)

問題2:正向傳播

如何將長期記憶加入我們模型? → Long short term mermory

LSTM (Long short term mermory)

LSTM最後改良

--

--

學習的路上,努力地開拓自己的視野、壯大自己的膽試。越是困難越是走出自己的this way,我是YuWayy,歡迎一起從0開始學習任何有關AI的知識與技術。

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store