優拓 Paper Note ep.22: Spectral Normalization for Generative Adversarial Networks
本文所使用圖皆截自原論文
編按：在優拓每週一次的 Seminar，Data Team 的大夥會輪流分享最近看過的一篇印象深刻的論文。這一系列文章就是將會議上討論的內容整理出來，分享給優拓以外的同好。本系列的前一篇請見：
摘要
來自日本 Preferred Network 的研究於今年 ICLR Oral，提出了 “Spectral Normalization” 來弱化 discriminator ，使 GAN 的訓練更加穩定。
原始的 GAN 由於 NN 的強大建模能力，使得 Generator 訓練的時候幾乎收不到什麼 gradient 。而在 Loss-Sensitive GAN 的論文中，說明了限制 Discriminator 的 Lipschitz Constant 可以有效讓 Generator 穩定得到 gradient ，而且可以收斂。但問題就在於，如何在 GAN 的訓練過程中，增加這個限制。
在此之前，已經有一些方法，比如說 WGAN 和 Improved WGAN，前者直接限制參數的大小，後者則加上一個 sample-specific 的正則化方法。但這兩者都不保證訓練出來的模型 Lipschitz Constant 等於 1。
這篇論文提出的方法很直接：讓每個 iteration 後的 discriminator 參數除以 spectral norm，如此一來，只要 activation 用的也是 ReLU 之類 Lipschitz Constant 小於等於一的函式，整個 discriminator 就會擁有這個條件。
看點
- 由於計算 spectral norm 可以使用 power iteration method，因此這個改動對於原本的 GAN 訓練時間並不會影響太多。
- 這個方法做在 Conditional GAN 的任務上有相當不錯的成績，在 Inception score 穩定提升：
在Cifar10, STL-10, ImageNet 生成的圖片也相當不錯：
更多範例可以看原文的 Appendix。
- Ian Goodfellow 也說讚
延伸研究
在 Ian Goodfellow 的推文底下，他提到: “Check out the AC-GAN paper. For too many classes, the model collapses disastrously. We are not really sure why, though SN-GAN seems to fix it.” 而實際上在 SN-GAN 論文中，作者們的確也實驗在 ImageNet 上（超過 1000 個 class）且有不錯的成效。這個有趣的特性蠻值得研究的，看起來也能大大推廣 GAN 的應用。
優拓資訊 (Yoctol Info Inc.)
At YOCTOL, We AI Your Business by Bot.
優拓為新銳 AI 團隊，利用自行研發的機器人框架、自然語意理解、網路爬蟲、推薦引擎，為企業提供全方位的商務機器人解決方案，不僅可以即時回應顧客的客服需求，也能主動推播個人化商品推薦，提昇企業經營效能。
若您有相關業務需求或是任何建議、疑問，都歡迎寄信至 service@yoctol.com，我們將盡速與您聯繫，期待您的來信！
