Rene Wangin翻滾吧!駭客女孩!Introduction to Graph Neural Network (GNN): A PrimerDeepMind 在 2018 年6月發表名為 “Relational inductive biases, deep learning, and graph networks” 的文章,提到 graph neural networks 的概念。在這篇文章中,graph…Jul 22, 2020Jul 22, 2020
Rene Wangin翻滾吧!駭客女孩![Paper] Feature Quantization Improves GAN Training在門外漢的影像轉譯文章中,我們定義了 unpaired image-to-image translation 問題,並列舉了幾種不同類別的演算法。其中 attention-based 的 U-GAT-IT 演算法曾經是多項資料集 SOTA 保持者。我們今天所要談的,…Jul 15, 2020Jul 15, 2020
Rene Wangin翻滾吧!駭客女孩!2018 NeurIPs Unsupervised Learning Tutorial Note: Auto-regressive and Unsupervised Reinforcement…此文章由數個舊 facebook 貼文修改而成,內容主要是 NeurIPs2018 大會上,九個 tutorial 主題中,其中的一個:非監督式學習 (unsupervised learning)。Jun 5, 20201Jun 5, 20201
Rene Wangin翻滾吧!駭客女孩!Neural code search只要是身為開發者,總免不了利用 google 搜尋技巧,或在 stackoverflow 上提問。然而 Google 搜尋和 Stack overflow 為了方便開發者快速搜尋,通常會仰賴提問者提供的敘述和 tag,而非提問者上傳造成問題的 code…May 20, 2020May 20, 2020
Rene Wangin翻滾吧!駭客女孩!Rethinking the Value of Network Pruning在解構 Lottery Ticket 一文中,提到了有一篇文章對 Lottery Ticket 的結果產生質疑。在 Lottery Ticket 一文中提出 “Winning Tickets” 的概念。“Winning Tickets”…May 14, 2020May 14, 2020
Rene Wangin翻滾吧!駭客女孩!Subword algorithms一個好的自然語言模型,需要維持一個好的 vocabulary set。一旦我們向語言模型提問,出現了語言模型的 vocabulary set 未曾收錄的單字,語言模型就會產生 Out-of-Vocabulary 或 OOV 的問題。而 OOV…May 4, 2020May 4, 2020
Rene Wangin翻滾吧!駭客女孩!解構 Lottery Ticket Hypothesis介紹深度學習的第一個十年時,提到了一篇在 2019 年發表的樂透彩卷假說(Lottery Ticket…Apr 22, 2020Apr 22, 2020
Rene Wangin翻滾吧!駭客女孩!如何使用 Mixture of Model 建立多任務學習框架在 《Youtube 如何推薦你下一個影片?》[1] 一文介紹了 Google 如何利用一個多任務學習(Multi-tasking) 的學習演算法,建造一個影片的推薦系統。所使用的架構是 wide (shallow tower) and deep (Multi-gate…Apr 15, 20201Apr 15, 20201
Rene Wangin翻滾吧!駭客女孩!手動標註標籤即將成為過去式在 Machine Learning 的世界中,獲得正確且與任務相關的標籤永遠是要務之一。利用與任務相關的標籤資料來當作學習的正解有助於模型更有效率且切中要點的學習。然而,獲得標籤的資料是相當耗費人工以及時間的工程。因為端看應用為何,有些資料具有時效性,有些則需要特殊的…Feb 25, 2020Feb 25, 2020
Rene Wangin翻滾吧!駭客女孩!深度學習的第一個十年由 Leo Gao 所撰寫的 “The Decade of Deep Learning” 文章,回顧了 2010–2019 年,每一年關於深度學習的的重要論文。小編將會分五次貼文逐一討論,但讀者也可以直接前往參考資料的原文網址,閱讀英文全文或簡中翻譯。Feb 10, 2020Feb 10, 2020