Differentiable Neural Computersと、自然言語におけるAttentionの有用性
3 min readApr 17, 2017
2/28の論文輪講では、Deep Mindが公表し話題となった「微分可能な計算機の表現」といえるDifferentiable Neural Computersと、自然言語処理におけるAttentionの有用性についてのサーベイを扱いました。
Hybrid computing using a neural network with dynamic external memory
Frustratingly Short Attention Spans in Neural Language Modeling
About arXivTimes
arXivTimesでは、 動きの速い機械学習の分野において一社だけで動向にキャッチアップしていくのは現実的/効率的ではないとの思いから、GitHub上で論文調査の結果を行うほか、定期的に輪講を実施しています。
現在はTIS株式会社と株式会社Albert様とで共同で行っています。輪講は月末近辺の火曜日の16:00~程から行っていますので、参加したいという方はTwitterのメッセージなどからぜひご連絡をお待ちしています。場所は、TISのコワーキングスペースであるbit&innovationで行っています。
