クロスリンガルな固有表現抽出と、囲碁の学習
7/7に行われたarXivTimes輪講では、固有表現抽出と囲碁の学習に関する論文がトピックとなりました。各社で研究ドメインが異なるのためこうしたバリエーションに富んだ内容になることもあるのが良いところ・・・です(タイトルは意味不明になってますが)。
Neural Architectures for Named Entity Recognition
こちらはDNNを用いて固有表現認識を行う話になります。既存の固有表現認識のモデルは特徴設計に依存することが多く、これらは当然言語に依存していました(品詞、prefix/suffix、外部知識(辞書)など・・・)。そのため、一つのモデルを作ってもそれをほかの言語に適用するのは困難です。
そこで、DNNにより言語依存の特徴量フリーなモデルを作ろうというのが本論文の試みです。基本はBidirectionalなネットワークの上にCRFを乗せた構成となっており、英語では既存のモデルに劣るものの、英語以外の言語でSOTAを記録しています(英語も比較対象のモデルは特徴設計を煮詰めたものなので、それに比肩できるのは優秀といえます)。
こちらは弊社メンバの発表で、実装まで行っているのでぜひご参照いただければと思います。実装にはKerasを使っています(一言で述べてますがKerasはだいぶツラかったという)。
モデルだけでなくデモで試せるようになっており、以下のような感じで入力された固有表現が認識されます。英語でも日本語でも同一モデル！というのがこの論文の良いところ。
こちらはNetreamerさんの勉強会でも発表が行われました。
Beyond Monte Carlo Tree Search: Playing Go with Deep Alternative Neural Network and Long-Term Evaluation
こちらはDeep Alternative Neural Network(DANN)という手法と、Long-Term Evaluation(LTE)という二つの手法を組み合わせて囲碁対局を学習させようというものです。
DANNは著者らの先行研究で、動画から人の動作を認識するのに利用されています。CNNとRNNが交互に重なるようなネットワーク構造で、時系列の画像変化を予測します。LTEは盤面における着眼点を決めて石を打つというアクションを繰り返し、ある盤面からの将来の推移をシミュレーションします。
全体としては、DANNにより候補となるいくつかの局面を生成し、LTEでシミュレーションすることによりより有望なものに絞るという形になります。
以上が7/7の輪講の内容でした。
At the End
arXivTimesでは、論文輪講のメンバ及びarXivTimesへの投稿をお待ちしております(投稿上でのディスカッションなどもできればと思っています)。興味をお持ちの方は、Twitterのメンションでぜひご連絡ください。
