Andrew Ng “Deep Learning Specialization” 課程感想 (1~3)

(2017.10.22 更新新課程消息與討論風氣)

Andrew Ng 最近開了 "Deep Learning Specialization" 學程在 Coursera 上,包含了五個課程,不過目前只開放前三個。以下是個人上完後的感想,或許可供猶豫的人一些參考。

課程的調性

我覺得這門課適合剛接觸或想要轉職到 deep learning,而且目標是從基本做起弄髒雙手的人。這門課提供一個起點,給想要繼續進修的人一些基礎能力,而不是例如「七天內兜出一個產品」的速成課。

課程內容

Course 1 + Course 2 終極目標是讓大家能夠從無到有,不仰賴框架一步步寫出一個 deep learning 的分類器,例如判斷圖片有沒有貓。直到課程的最後才介紹 Tensorflow(一個函式庫),藉由前面的鋪成來解釋可以如何方便地利用之。為了達到這個目標,課程花了很多心力在基本概念和程式式子上,也介紹了一些稍進階的如 RMSprop/Adam, hyperparameter tuning, weight initialization, batch norm 等。

Course 3 則是實戰策略面:當利用 deep learning 在產品或研究上,大方向該怎麼走、可能會遇到的問題、該如何見招拆招。例如怎麼評斷模型好壞,資料品質,分割資料以及不同錯誤的症狀等等。

詳細大綱: https://www.coursera.org/specializations/deep-learning#courses

所以很難嗎?會不會聽不懂?

這門課的進入門檻很低,只要懂得這兩個就可以開始了

  • 基本的程式撰寫
  • 兩個矩陣怎麼相乘

課程節奏不快,很多的數學如微積分都用淺顯的方式規避掉。

課程形式

每個課程包含二到四個小部份;每部份先是一連串的影片講課,然後是 10~15 選擇題評分測驗,最後是程式實作測驗 (Course 3 沒有)

雖然課程有建議日期範圍和週數,實際上這不是硬性規定。可以中途加入課程,提早/延後上完課程,測驗遲交也可以。也可以只單上某個課程(不過會被認為參加整個學程,所以自己要視情況取消收費

20171022更新:課程是英文授課,Andrew 的口條清晰不快,全部的課程都有英文字幕,不幸地英文字幕不是由寫課程的人上的,所以偶有錯誤不能依賴。幸運的是有一位 Jerry 大大已經翻譯好 Course 1 的繁中字幕。Course 2 正在翻譯中。如果有志之士可以在 Course Info 自願參加翻譯,只要有信心能正確翻譯,沒有門檻,Just do it!

課程特點

  • Course 1+2 著重實作,而且非常 bottom-up,從很基本的功能慢慢往上疊。程式實作是以課程預先寫好的大架構為基底,由學生填 code 實作其中的關鍵功能。優點是學生不會毫無頭緒,但如果學生不動腦的話,有可能照著提示就填完了,而失去了整體概念的練習。
  • Course 3 的實戰心法滿值得的。雖然是大概念,江湖一點訣,但可貴在用清晰有邏輯的方式來介紹。
  • 有討論區可以讓學生互相討論課程和作業,風氣尚可。不過除非是課程作業有 bug,否則助教似乎不會介入討論 。
  • 沒有固定的上下車時間:什麼時候加入課程、節奏多快都是自己控制。優點是不怕被甩開,但缺點是討論的力道稍微分散,當你還在上前面的課程時有些人已經上完走了(別人都上六十了自己還在新手村)。不過討論區可以看得到前人的討論,而且陸續仍有新人參與,所以影響不大。
  • 20171022更新:現在已經有 Mentor 志工會回覆討論區的文章,滿多文章同學和 mentor 都會回覆。雖然大概 85% 的文章是關於作業疑難雜症,不過至少就討論風氣來說不用太擔心。然後善用討論區搜尋的功能,很多問題或者討論也都能找到答案或同好。
  • 規避微積分。在程式實作測驗中,很多數學公式(back propagation)是直接提供的,雖然影片講課有介紹,但並不要求學生自己推導,所以如果只做程式測驗的話有可能會疑漏掉。
  • 不倚賴高階函式庫,例如 Keras。也沒有火力展示,示範 deep learning 可以做到多炫的產品。更不唬爛恐嚇 AI 可以做什麼 / AI 末日 / AI 萬靈丹,而是嘗試讓大家了解背後的概念。
  • 不教(也不要求)軟體/硬體的安裝。實作課程是用 coursera 的 ipython notebook,會用到的 library 都裝好了。

目前只有簡單的 model(fully connected forward NN),CNN 和 RNN 的課程尚未出來(有傳聞會在九月底,上完的可取消付費等課程(20171022最新消息:Course4 預計十月底,Course5 預計十一月底)

  • Andrew Ng 有訪問 deep learning 領域的一些人,有關他們的看法和心路歷程,雖然非課程必需,但也滿有趣的(youtube 有播放清單

總之,這應該是一個很好入門的課程,課程有免費的七天鑑賞期,有志之士可以趁這機會考慮一下。如果已有 deep learning 經驗者,可能 Course 3 尚有幫助。