Findings of GEC Advent Calendar 2021

Masato Mita

Dec 25, 2021

この記事はGEC (Grammatical Error Correction) Advent Calendar 2021の25日目の記事になります。

はじめに

最終日（25日目）ということで、せっかくなので本アドベントカレンダー（以下、GECアドカレ）の企画者の一人として、総括?っぽいことを書きたいと思います。具体的には、

企画のきっかけ
どんな話があったか？
やってみて感じたこと
GECの次の方向性

という話を書きます。

企画のきっかけ

きっかけとしては、@gotutiyan_kapiさんが（おそらく半分冗談で）以下のようなツイートをしてたのを私が見て、「それなら周りを巻き込んで大々的にやろう」と反応する形で始まりました。

一応この時の私の気持ちとしては大きく２つあって、1つ目はツイートにもある通り、（昔に比べると）最近は国内でGECのプレイヤーが増えた（と感じてた）ので、ニッチなテーマではあるけれどちゃんと周知すればそこそこ人が集まるのでは？という謎の自信があったこと。2つ目は、ちょうどこの時自分自身のキャリアとして次のチャレンジがしたいと考え始めており、それもあってぼちぼちGEC研究（の第一線）からは身を引くかなぁとぼんやり考えてたので、最後に国内GECの一盛り上げ役を買えたらという思いもありました。

どんな話があったか？

以下に独断と偏見で全記事をカテゴライズしてみました。論文・書籍紹介を始め、界隈へのお気持ち表明、論文化に至るまでの裏話や逆に論文にできなかった話、作ってみた・動かしてみた・調べてみた等の〇〇してみた系、GECに関する情報の整備やこれからGECを始めようという方には嬉しいチュートリアル等など、この25日間で非常に多岐にわたるトピックが繰り広げられました。

論文・書籍紹介

界隈へのお気持ち表明

GECのタスク説明はなぜ難しいのか（@chemical_tree）
GECで修士卒業した人間が就職して思ういくつかのこと（@Katumata420）
GECのその先へ（@mamorlis）

論文化に至るまでの裏話

GEC 十年一日（@mamorlis）
TEC-JL コーパス（@mamorlis）
EDCW ワークショップ（@mamorlis）
NAIST 誤用コーパス（@mamorlis）
画像を用いた語学学習支援（@misogil0116）

論文にできなかった話

GECのLow recall問題に迫る（@chemical_tree）
英独文法誤り訂正と機械翻訳の同時学習をする（本当は中間言語を再現したかった）話（@nymwa）

〇〇してみた系

トップカンファレンス採択論文数から紐解くGEC研究に強みを持つ組織（@chemical_tree）
Gramformerを動かしてみた（@gotutiyan）
Grammarlyのベンチマーキング（@chemical_tree）
文法誤り訂正の可視化ツールを作ってみた（@gotutiyan）

情報の整備

チュートリアル

文法誤り訂正の評価ツール ERRANT の使い方（@youichiro）
GECモデルを学習，推論と評価できるようになる（@MasahiroKaneko_）

やってみて感じたこと

GECアドカレをやってみて感じたことをつらつら書きたいと思います。まず一番に感じたのは、話題の豊富さとバランスの良さです。企画した身として言うのはどうかと思いますが、やる前は「とはいえ、GECというニッチなトピック一つで1ヶ月もつのか…」という気持ちもあったのですが実際には杞憂に終わりました。また、アドベントカレンダーならではの良さだなと感じたこともいくつかありました。一つは、1ヶ月間ずっとGECに関する記事がupされることにより、記事 - Social (Twitter) や記事 - Local（研究室）、あるいは記事 - 記事など全体としてこの1ヶ月間はGECに関する議論がゆるやかに生まれていた（ように見えた）ことです。例えば、私が今担当している小町研究室の定例MTGでも「この間のGECアドカレにもありましたが〜」のようなGECアドカレきっかけとした発話もちょいちょいありましたし、Twitterでも普段GECをやっていないような人も含めて話題に上がってるのが見られました。また、普段外野からだとなかなか見えないような、論文化に至るまでの裏話や論文にできなかった話（negative resultなど）がGECアドカレきっかけで聞けたのも個人的には非常によかったです。大事なことは論文に書いていないことの方が多い（と言うのはさすがに言い過ぎ？）ですしね。

GECの次の方向性

最後に、私も昨日（今日？）の小町さんの記事を真似して、他の人がやってくれることも期待しつつGECの次の方向性について書いておこうと思います。上での記事で紹介されてるもの以外でいうと、大きくは以下の方向性が考えられるかなと思っています（こうリストアップしてみると私はどちらかといえばGEC の範囲を拡大して研究のフロンティアを探してほしい派のようです笑…たぶんボスの影響もありそう）。

訂正根拠が提示可能なGECモデル（フィードバック、解釈性）
lightweight GEC（推論速度、省資源化）
頑健なテキスト解析・ミドルウェアとしてのGEC
「文」から「文章」レベルの修正へ

英語GECに関しては、（小町さんもおっしゃっていますが）訂正精度がかなり高くなってきて、研究から徐々に開発フェーズに移行しつつあると思っています。昨年末に行われた「教育アセスメント×言語処理シンポジウム : 自動採点、英文添削、論述評価の可能性」でも話したのですが、ある一つの観点（ベンチマーク）においては、Human expertをすでに超えるほどの性能まで向上しており、ライティング学習支援（≠ライティング支援）としてのGECということを考えても、いよいよフィードバックのストラテジーと教育効果といったことを研究できる下地ができてきたというところだと思います（逆にこれまでは精度が低すぎてそもそも教育効果まで踏み込んだ研究ができなかった）。そのため、どんどん（場合によっては、言語教育の専門家や教育事業者とも連携して）この方向性で探究してほしいと思っています。また、開発フェーズに移行してるということは、精度以外にも推論速度やモデル開発に必要なリソースの省資源化といったことも重要になってくることが予想されるため、lightweightなGECモデルの実現に向けた技術の発展もありえるでしょう。さらに、（歴史的に）Educational Applicationとしての色が強いGECなので見過ごされがちですが、あるゆる自然言語処理の前処理として使えるような頑健なテキスト解析・ミドルウェアとしても有用であるため、その方向性での応用もいろいろ考えられると思います。最後に、これは今まさに私が探究中なのですが、一文を超えて、文章レベルの修正への拡張というのもこれまでのGECタスクの変遷を考えると自然だと思います。文レベルでは基本的に文法性（あるいは、局所的な流暢性）という1つないし2つの梯子をひたすら登っていけばよかったところが、文章レベルになると文章全体の流れや一貫性・結束性といった他の様々な梯子が登場してくるので、技術的にもいろいろなチャレンジがあると思います（さすがにここまでくるとGECとは独立した別タスクとして考えた方がよさそうですが…）。このあたりの話は（無事投稿成功すれば！！）来年の年次大会で発表する予定なのでお楽しみに（ステマ）。

また、次の方向性というか、日本語GECはなんとかしたいよねという気持ちも（特に今回のGECアドカレを通して）強くなりました。私自身これまで日本語は全く…だったので自戒を込めて。日本語GECは英語GECと比べてまだまだ研究フェーズだと思いますが、特に評価・分析周りの整備を充実させたいですね。こちらの記事でもまさに言及されてる通り、日本語版ERRANTの開発や、評価データにしても現状TEC-JLくらいしかないので、コーパス横断評価推しおじさんとしては、もっと多種多様な評価データが登場してくれるといいなと思っています。幸いなことに、小町研に加入してからは日本語GECにも携わる機会が増えたので私も何かしら貢献できるように頑張りたいと思っています。

おわりに

半分勢いで始めたこの企画ですが、正直途中「なんでこの超忙しい12月(※)に始めたんだろう…（まぁアドベントカレンダーはそういうもんか、というセルフツッコミまで込み）」と思うこともありました。しかし、予想以上にたくさんの人が参加していただき（改めてご参加いただいた皆様本当にありがとうございました！）、また普段GECを研究していない人も含めて何人かからGECアドカレ楽しみに読ませてもらってますといった嬉しいコメントを直接もらえたり、あとは単純に一読者として楽しく読ませてもらってたので、終わってみるとやってよかったなと思っています。冒頭にも軽く触れた通り、私自身はGECはぼちぼち卒業かな（少なくとも自分が主著で何かやるみたいなことは当分なさそうな雰囲気）と思っているので、また数年後とかに誰かが引き継いでGECアドカレやってくれると嬉しいなとひっそり思っています。

※ 多くのNLPer にとって12月は各種学会の〆切に終われる1年で最も忙しい時期の一つとされている