2017 回顧文摘要系列一:WildML

原文網址

這篇文章本身就是很多東西的摘要了,要給一篇滿滿摘要的文章再寫摘要,感覺就剩下沒什麼東西了,不過還是試試看吧,先來列一下大綱:

  • 強化學習稱霸人類遊戲
  • Evolution Algorithm & Genetic Algorithm
  • WaveNet, CNNs, Attention Mechanisms
  • 深度學習框架百家爭鳴
  • 學習資源推薦
  • 各種應用
  • 數據集
  • 深度學習的可重複性與批判
  • 其他事件

原文有非常多的連結,包含論文或是網站,看完不知道都 2018 年幾月了啊!下面列一些我有興趣的點,其他看標題就可以猜內容的就不寫了。

強化學習稱霸人類遊戲

這個中文副標故意下地比較誇張了,當然這部分原文把 AlphaGo 系列都提了一遍,後面提了一些其他棋類、撲克比賽或是其他遊戲競賽,總歸一句話就是說呢,現在電腦跟人只有一對一的遊戲是會贏的,但是多人競賽的遊戲因為比較複雜,應該會是接下來研究的方向。

Evolution Algorithm & Genetic Algorithm

這是強化學習相關的演算法,已經有研究發現 Evolution Algorithm 的結果快跟 DQN 一樣好了,而優勢就是 Evolution Algorithm 不用 GPU 來算,而且可以平行算。然後 Uber 有發表自己的 GA 在一個遊戲的成績大勝 DQA, EA 等等。所以原文作者預測這類不需要計算 Gradient 的演算法在 2018 年應該會有更進一步的發展。

深度學習框架百家爭鳴

一般深度學習框架

  • PyTorch (Facebook)
  • TensorFlow (Google)
  • CoreML (Apple)
  • Pyro, Michelangelo (Uber)
  • Gluon over MXNet (Amazon)
  • ONNX (Microsoft, Facebook)

不知道為什麼沒提到 Keras、Caffe2、還有 CNTK。後面還列了強化學習的框架,javascript 的框架,以及 Theano 的殞落。

各種應用

  • 人工智慧與醫療
  • GANs 與藝術
  • 自駕車
  • 圖片自動去背
  • 自動生成漫畫人物
  • 黑白圖片上色
  • 用 NN 玩馬力歐賽車
  • 深度學習辨別藝術品真偽
  • 隨手畫貓
  • 研究相關
    - the unsupervised sentiment neuron
    - learning to communication
    - learning index structures: 優化 B-Tree
    - attetion is all you need: Google 用來做翻譯,不用 CNN/RNN
    - Mask RNN: 剛好最近 Facebook 開源了 Detectron 裡面有
    - Deep Image Prior

深度學習的可重複性與批判

就是說論文常常呢,在某些部分並不是寫得很仔細,或是沒公開程式碼,或是用特殊的評估方式,導致實驗結果在別人手上根本就做不出來,或者說呢,用非常誇張的資源來跑實驗,其他人也是完全做不到。另外就是在 NIPS 得獎的 Rahimi 一直以來對深度學習的強力批判,以及 LeCun 的強力回擊。

其他事件

其實這邊是很多小段落,我把它合併成為其他事件,本來也想把上面那段合併進來的 XD 這部分提到的加拿大以及中國的人工智慧佈局、NVidia / Google / Intel / Tesla 的硬體戰爭、IBM Watson 過度炒作遭人怨。

提到的大公司人事異動包括:Andrew Ng 提開百度後又製作了新的 MOOC,新團隊募資 150M,然後接著馬上又弄了家新創 landing.ai,就是跟鴻海合作的那個新聞。Facebook 挖了 Siri 的 Nature Language Understanding Chief,當然沒提到這幾天 Yann LeCun 的人事異動,因為原文撰寫的時候還沒發生XD 最後列了幾個大公司收購新創的新聞以及金額。

結語

整理上感覺原文作者對於 CNN/RNN 描述較少,偏向對於強化學習有更仔細的說明。大部份的內容就算沒有深入學習,大概也都有耳聞,不過還是有部分是第一次看到。學習資源的部分也看到了一些沒聽說過的課,希望接下來有機會看看。這篇就是這樣,這是個跳過很多東西而且什麼都講一句話的版本,原文還會附連結,要全部看完我想…