LeCunn氏：「私は間違っていました、教師あり学習を今すぐ廃棄して教師なし学習を始めてください」- AAAI20
今年のAAAI2020と言えば、2018年のチューリング賞受賞者 Yann LeCunn 、Geoffrey E. Hinton とYoshua Bengioのスピーチは必ず見逃せないところです。
三人のテーマは全部機械学習の現状に対する批判、及び調整方法です。いずれもインパクトがありすぎるので別々に内容を整理してみました。
LeCunn氏のスピーチ紹介です。
深層学習(Deep Learning)
冒頭から語ったのは深層学習(Deep Learning)の定義です。深層学習はNeural Networkその物ではなく、大量のパラメータを持った計算グラフを学習することにより、勾配に基づくパラメータ最適化を行う学習法だと説明しました。なので深層学習＝Neural Networkとの言い方はやめましょう。
LeCunnさん本人のSNSでも深層学習やDifferential Programmingについて説明しています、興味がある方は是非みてください。
深層学習は色々の限界があると言われましたが、それは教師あり学習(Supervised Learning)の限界です。教師あり学習は大量のラベル付きデータを必要として、予測が違った部分を逆伝播してパラメータの調整をしかしていません。
他にも強化学習(Reinforcement Learning)の学習がありますが、例え最新の強化学習手法でも人間の学習する時間には勝ちません。Hessel氏が発表したRainbowsによっても、57個のAtariゲームを学習するには83時間同定の時間が必要でした、それに比べて人間が同じゲームを学習するには15分間だけです。強化学習の学習効率はあまりにも低すぎてゲームでの学習は出来ますが、セルフドライブ領域などの失敗＝死亡の現実世界での応用は現状不可能です。
深層学習の挑戦
今の二種類の学習法：教師あり学習、強化学習 から見ると、深層学習は主に三つの挑戦があります。
- 学習に必要なラベル付きデータの数やエポック数を減らす
- 経緯に基づく学習ができる
- 複雑な連続動作を計画することができる
教師なし学習(Self-Supervised Learning)
「学習に必要なラベル付きデータの数やエポック数を減らす」を解決するのが教師なし学習です。ラベル付きデータが不要の学習法だと、まずラベル付きデータの準備する事はないです。
ちなみに、Hinton氏は教師なし学習をUnsupervised Learningと言っていましたが、LeCunn氏はSelf-Supervised Lerningと言った方が適切と言ってました。ハイレベルの揉め合いは名詞定義になっていくんですね。
教師なし学習とは
LeCunn氏が教師なし学習の端から「教師なし学習はこの一年半の間、膨大な影響を出した」と言いました。そう、BERTが教師なし学習です。
教師なし学習とは空白を埋める事です。自然言語処理領域のTransformerやBERT等でも証明された様、教師なし学習で意味の理解をしている部分をEncoderとして、Encoder-Decoder構造で問題を解決するのが教師なし学習での応用法です。自然言語処理は教師なし学習で物凄い成功を得ました。
Transformerに詳しくない方はこの紹介記事をご覧ください：
しかし教師なし学習がTransformerやBERT等自然言語処理での成功は画像処理には転移しなかったです。画像の空白を埋める研究はありますが結果はいまいちです。映像でも教師なし学習で次に出てくる部分を予測をしたかったのですが、全く予測してないと言っていいでしょう。画像や映像の教師なし学習ではどちらとも不確定性が高く、文字とは違って連続(continuos)データです。これをいかに克服するかが、LeCunn氏から言うと、「教師なし学習を応用する為の一番の難関」です。
LeCunn氏は解決法としたエナジーベースモデル(energy-based model)を提出しましたが、まだ概念だけでモデル構造などはありません。論文はここです。
三種類の学習法
- 強化学習(Reinforcement Learning)
機械がリワードにより動作を学習する方法。
弱フィードバック - 教師あり学習(Supervised Learning)
ラベル付きのデータを使い損失関数でラベルの予測を学習する方法
中フィードバック - 教師なし学習(Self-Supervised Learning)
データで空白を作り、空白を埋める内容を学習する方法
強フィードバック
教師なし学習を始めよう
自然言語処理で得た成功からわかる事は：「教師なし学習は物事の理解に優れている」と言う事です。理解してからEncoder-Decoder構造を使って問題解決する流れなので、例え画像処理でも今のモデルにどうにか入れられて理解を深められるはずです。
最後に
スピーチ記事は完成次第公開します。
Hinton氏：
Bengio氏：「機械学習のシステム２が始まりました、認知とは何かをまず探索しましょう」（まもなく完成）
if you like(this_article):
please(CLAPS)
follow(LSC_PSD)
# Thanks :)