ACL2018読み会を開催しました
2018/7/8、ACL2018開催ジャスト一週間前というタイミングで、ACL2018読み会を開催しました。本記事では、当日の内容と発表された論文の紹介をして行きたいと思います。
会場は、LINEさんにご提供をいただきました。事前の準備をほとんどしていただき、大変ありがたかったです。
当日の発表は以下のような順でした。なお、論文の発表順はACL本会議と同じ順になっています。
- ACL2018の歩き方
- Probabilistic FastText for Multi-Sense Word Embeddings
- Sentence-State LSTM for Text Representation
- Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting
- Adversarial Contrastive Estimation
- MojiTalk: Generating Emotional Responses at Scale
- Entity-Duet Neural Ranking: Understanding the Role of Knowledge Graph Semantics in Neural Information Retrieval
- Learning to Ask Good Questions: Ranking Clarification Questions using Neural Expected Value of Perfect Information
ACL2018の歩き方
最初に、ACLの概要とACL2018での採択論文の傾向、注目セッション/ワークショップなどについてお話ししました。分析に使用したデータはKaggleで公開しているので、ぜひ他の分析などにも使用していただければと思います。
Probabilistic FastText for Multi-Sense Word Embeddings
トップバッターは、単語をベクトルでなく分布で表現するという手法についての発表でした。著者らはすでに同様の研究を行なっていますが、本研究ではfastTextのようにサブワードを扱うことで未知語への対応を補強したものとなっています。
発表資料は、アンケートでわかりやすいと好評でした。研究内容に興味を持たれた方は、ぜひ見て見てください。
Sentence-State LSTM for Text Representation
こちらはRNN(LSTM)で、単語のシーケンスでなく文のシーケンスを処理するといった形の手法です。文の潜在表現をフィードバックしていくことで、より文脈を意識した表現の獲得を目指しています。
ただ、その目的に応じた実験をしてない、という点が発表/質問でも話題になりました(当日はその場での質問以外もsli.doで質問を受け付け、Twitterで回答していました)。
Fast Abstractive Summarization with Reinforce-Selected Sentence Rewriting
こちらは重要な文書を抽出してから(Extractive)書き換えを行う(Abstractive)という、要約では最近よく見かける手法を使ったものでした。強化学習で最適化するというのもトレンドなもので、そうした意味では最新の手法をミックスしたものになっています。
発表では、各構成要素(強化学習など)の基礎的なところから丁寧な解説がありました！
Adversarial Contrastive Estimation
分散表現の学習でネガティブサンプリングを使用するのは一般的ですが、本研究ではより(ポジティブと)見分けがつきにくいネガティブを生成することで分散表現の表現力をあげる試みを行なっています。言葉の雰囲気から伝わる通り、この生成にGANを使用しています。ただ、GANの学習を安定させるにはやはり苦労があったようです。
質問でもありましたが、同じ考えでもう少しベーシックな手法を試してみてもいいのかなと感じました。
MojiTalk: Generating Emotional Responses at Scale
こちらは感情のこもった返信を行うために、Twitterの絵文字が含まれつツイートを利用したという研究です。Twitter&絵文字というとDeepMojiが思い起こされますが、こちらはそれをさらに対話に利用するという形で一歩進めたものになります。
Entity-Duet Neural Ranking: Understanding the Role of Knowledge Graph Semantics in Neural Information Retrieval
検索でのランク付けを行う際に、固有表現を利用するというのが提案手法になります。Knowledge Graphと言いつつもトリプルを使用しているわけではないので、固有表現認識ができれば比較的簡単に導入できるのではないかと感じました(最近はspaCyやCoreNLP、うちのチームメンバが開発しているanaGoなどで実行可能です)。
検索の基礎的な仕組みから解説をしてくれていて、とても分かり易かったです。
Learning to Ask Good Questions: Ranking Clarification Questions using Neural Expected Value of Perfect Information
最後は、Best paperに選出された論文でした。質問をされた時に、より回答しやすい状態に導くための質問を行う(Clarification Question)という新しいタスク、そしてそれを行うためのデータセット・ベースラインモデルを提供したものになっています。
Best paperということもあってか、非常に質疑が活発でした。新しいタスクということもあり問題設定やベースラインモデルの精度などについてここのところどうなの？という指摘が多々ありました。この点については、ACL本会議に参加する参加者の方にぜひ突っ込んでいただければと思います！
今回は、arXivTimes初のオフラインイベントとなりました。arXivTimesでは、投稿の量・質を向上させていくためいくつかの施策を打っており、本イベントものその一貫となります。
アンケートも取らせていただいたので、今後の活動の参考にさせていただきます。
(会社的にまとめを載せて大丈夫か不安・・・という回答もありました。会社として「arXivTimesの参加OKだよ！」と声を大にしていただけるととてもありがたいです。)
今後ともarXivTimesをよろしくお願いいたします。
