EMNLP2018読み会を開催しました
2018/12/9に、EMNLP2018で採択された論文の読み会を開催しました。発表された論文は6本で、いずれも活発な質疑がありました。質問がなかった場合にそなえ色々用意していたのですが、そんな心配をよそにほとんどの発表で時間いっぱいの質疑がありました。
発表資料は、すでにconnpassのページに上がっています。
登壇者の方には、今回もarXivTimesステッカーの進呈と、発表に対するアンケート結果の共有を行わせて頂きました。業務がある中論文をまとめるのは大変なので、今後も発表者の方にできるだけフィードバックがあるような施策を取っていきたいと思います。
以下は、発表資料のまとめと簡単な内容の紹介です。
EMNLP2018 Overview
EMNLP2018の概要と、注目された研究トピックの紹介を行いました。
Deriving Machine Attention from Human Rationales
レビューなどにおいて、評価の根拠を特定することを目指した研究。根拠となった文(Rationale)をより具体的な根拠(=Attention)へ変換すること、さらにデータの少ないドメインへの転移を目指している。おれたちには到底怖くてできないような大型End-to-Endのモデルを平然と(?)やってのける様は必見。
Speed Reading: Learning to Read ForBackward via Shuttle
読み飛ばし/読み戻しを許可したLSTMの提案。これにより、文章の内容を素早く理解することを目的としている。どれぐらい読み飛ばすのか、また戻るのか、についての学習は微分不可能なため、強化学習を使用している。
Hierarchical Neural Networks for Sequential Sentence Classification in Medical Scientific Abstracts
医学系論文の要約(Abstract)を構造化してまとめることを目指した研究。具体的には、要約中の各文を目的/背景/手法などへ分類している。Bi-directional LSTMを用いて、前後の文脈を考慮した文分類を行うことで精度を上げている。
Parameterized Convolutional Neural Networks for Aspect Level Classification
観点ごとのセンチメント分類をCNNで行う際、各観点に反応するフィルタを作成するという手法。与えられた観点をたたみ込んでフィルタの重みを作り、それを使い文を別途畳み込み、センチメントの判定を行なっている。
Pathologies of Neural Models Make Interpretations Difficult
QA回答を行うモデルで、質問文が1語などでも(確信度が高く)回答できてしまっていることを検証した研究。モデルが重要視していない単語から順に落としていく手法で検証しており、人間にとって重要な単語が早い段階で落とされてしまう現象を観測している。単語を落とした分だけ不確実性(Entropy)を上げる正則化項の提案も行なっている。
Discriminative Deep Dyna-Q: Robust Planning for Dialogue Policy Learning
雑談対話を強化学習で行う際、シミュレーターを効果的に使う手法の提案です。具体的には、シミュレーターの中から「本物のユーザーっぽい」ものを選んで学習に使用します。この判定に、GANのようにDiscriminatorを使用しています。この手法(シミュレーターから良質な物を選び学習する)は、対話だけでなく一般的な強化学習でも使えるとしています。
登壇者の方々、ありがとうございました！
今回、会場はサーバーエージェントさんのCREATIVE Loungeを使わせて頂きました。かわいいキャラクターがお出迎えしてくれており、開催日には子供向けのイベントも行われていたようでした。
余談ですが、自動販売機の値段がすごい安かったです。ありがとうございました！
今回の読み会では、arXivTimesの活動についてもお話ししました。その際、投稿するのはハードルが高いため個人的なまとめリポジトリにタグをつける形でもありがたいですというお話をしました。
アンケートを取ったところ、投稿よりはややハードルが下がったようで安心しました。
色々なリポジトリで、色々なまとめが見られるようになればと思います。
今後ともarXivTimesをよろしくお願いいたします！
