【ラジオ】ディープラーニングって何？

人工知能ラヂオ書き起こし・エピソード３

＜ディープラーニングって何？ ゲスト：早稲田大学大学院 井上雄介さん＞

石井）はい、こんにちは。人工知能ラヂオ第三回めも早稲田大学大学院 井上雄介さんをお迎えしてお話をさせていただきます。この番組は人工知能専門の受託開発をやっているTeamAI株式会社ジェニオがお送りいたします。ジェニオ代表石井大輔です。井上さん今回もよろしくお願いします。

井上）よろしくお願いします。早稲田大学大学院で人工知能・機械学習などを研究しています。井上です。今回もよろしくお願いします。

石井）はい。第一回目人工知能って何？ということと、第二回目は機械学習って何？ということだったんですけど、今回はレベルを上げまして、今流行っているディープラーニングって何？というところですね、はい。これは言葉の意味から説明すると、ニューラルネットワークを使うんだけれどもそれが多層になっているとDeep、つまり深く、

井上）そうですね。定義としてはただそれだけで。普通のニューラルネットワークは入力層・中間層・出力層という三層のものなんですけども、これをさらに層を増やしたらそれだけで一応ディープラーニング、ディープ、という形になりますね。

石井）深いだからディープ何ですよね。

井上）はい。すごく単純で。元々層を深くすれば良いのではないかという発想はあったんですけども、実際に層を４層,５層,６層と増やしていくだけでは全然精度は上がらなくて、ずっと研究としてはある意味放置されていたんですけども。それを、ディープラーニングの有名人となっているカナディアンマフィアのヒントン教授が長らく第二次AIブームの頃から研究を続けていて、層が増えた場合でも上手く学習が出来るような仕組みを作ったのと、計算機の性能が上がったのと、データの量が増えたという三つの要素が絡み合って一気にディープラーニングの性能が良くなった。そして、ある画像の予測をするコンペティションでヒントンさんらが使ったものが圧倒的1位を獲得して一気に有名になったという話です。なので、ディープラーニングが最初に表舞台に出てきた時は、すごく性能が良いAIであるというところから有名になりましたね。

石井）これが2010年を過ぎて2010..

井上）2012年です、はい。

石井）はい。コンセプトは元々あったけど成功して注目を集めているのはここ4年くらいですよね。

井上）そうですね。コンセプト自体は何十年も前からありましたが、アメリカの方とかでバズり出したのが2010,11年くらいから熱があったらしいのですが、コンペティションで勝ったこと（が一番のきっかけ）で一気に有名になったということですね。

石井）はい。いくつかの特徴を先ほど井上さんに書いていただいたので上から順に言っていきましょうか。①特徴量を自動で取得する。

井上）はい、そうですね。第一回、第二回でりんごの例など出したんですけれども、自分でデータのどの特徴を使うか若しくはその特徴を掛けたり割ったり組み合わせたりなど、新たに特徴を作るという工程が必要になるんですね。その特徴を作ることを特徴エンジニアリングと言うんですけれども、その特徴エンジニアリングによってアルゴリズム性能が圧倒的に変わってしまうので、すごく重要なんです。それが今まで特徴エンジニアリングに関しては、データサイエンティスト若しくはAI技術者、AIエンジニアが自分の経験と勘に従って行なっていたんです、この問題に関してはこの特徴量とこの特徴量を組み合わせると上手くいくというような形で。性能がほぼそこに依存してしまっていて、研究している側としてはどのようなアルゴリズムを使っていても結局は特徴の決め方で全て変わってしまうというような、諦観みえたような状況があったんです。

石井）なるほど。

井上）ただ、ディープラーニングの凄いところは、その特徴を自分で作り上げること（が出来る）。ディープラーニングは層が深くなっていってるんですけども、その深くなっていっていくに従って、入れた生のデータから特徴を自分で作り出して、それを使って予測したりするように学習できるんです。これがすごく画期的な所の一つです。

石井）はい、第二回めで少しお話ししましたが、Googleの猫の話があって、これは猫だということを勝手にディープラーニングが分かって（判断できて）しまった..という。

井上）そちらは、概念を取得したという話ですね。

石井）ああ、これは概念の話で特徴量ではないですね。

井上）そうですね、特徴量の自動生成というのはもっと実務的にと言いますか、全ての問題に使えるような汎用的な凄いところですね。今まで人間が考えていたものを判断できるような。例えば画像ですと、りんごの画像をただそのまま与えると上手くいかなかったりして、りんごの丸という特徴を取り出すために、りんごの輪郭を際立たせるようなフィルターを画像にかけてデータを取得していたんです。でもそれって画像の扱い方を判ってないとできないですよね、ディープラーニングの場合はそのまま画像だけを与えると、層が上にいくに従って、ディープラーニングの層を取り出してみると（輪郭を成している）斜めの線だったり縦、横の線がそれぞれ出てきて、それを組み合わせてりんごを構成するような形にディープラーニングが勝手に組み替えるような仕組みになっているんですね。

石井）なるほど。分かりました、ありがとうございます。…次のポイントは、（この間私も他の方から聞いたのですが）「何故か性能が良い」という部分。これは謎だったりするんですか？

井上）そうですね、まだ数学的に解析されていないんですよ。

石井）そうらしいですね。

井上）今世界中の数学者や統計学者、機械学習の研究者が数学的にディープラーニングの中身を解析しようとしていてるが、未だに何故こんなにも性能が良いか分かってないし、その挙動（どういうものを入れたらどういうものが出てくるかという）が全く読めない状況になっています。今までの手法では、こういうデータを入れたらだいたいこういうようなものが出てくるというのが分かったんですけど、ディープラーニングの場合では中身が複雑すぎて全然わからない。つまり、入れる値を少し変えただけで（出力先が）めちゃくちゃ離れた場所に飛ぶという可能性もあるわけなんですよ。そのような理由もあって、詳しい人や大企業は、実務では使いにくいなと感じているんですね。

石井）なるほど。

井上）つまり、製品の性能テストができない。今までの手法では、ここからここまでのデータを入れたらだいたいこのような出力が出てくると分かったんですけど、ディープラーニングの場合順番に入れていった時に、全部バラバラに出力される可能性もある。めちゃくちゃ変な出力があるデータのセットだと、めちゃくちゃ変な出力が出るという可能性をぬぐいきれないんですよ。そういった理由もあってディープラーニングを実務で使うのは難しいのではないかと感じるところもあります。

石井）性能が良すぎてなのか、使うデータベースが多いからかなのか、チューニングが大変だったり、コストがでかいというのこと、その入れ込むデータの内容を整理する部分も含めて（実務で使うのは難しい）ということなんですよね。..分かりました。では次の特徴としは、（さっき僕猫のお話喋っちゃったんですけど）②概念取得。

井上）そうですね、これは特徴量の自動化やすごく性能が良いというのとはまた毛色の違った話で。Google猫の話が話題になりましたけど、ディープラーニングが猫という概念を取得しているのではないか、というような話があって。これはディープラーニングの特徴でして、ディープラーニングというのは層が深くなっていくに従って、より高次の特徴を捉えようというような動きが働くんですね。高次な特徴って何かというと、本質的な特徴と言いますか、人間の場合 顔があって腕が二本あって足が二本あるみたいな。例えば石井さんがいた場合、石井さんという特徴よりも高次な特徴というのは、石井さんが眼鏡をかけているだったり、顔があるとかそういうような特徴になるわけです。さらに高次になると、目も無く顔だけになるような感じ。ディープラーニングは層が深くなるにつれて、そのような高次の特徴を取り出していく。

石井）それが何故ディープラーニングの可能性につながっていくのか。私も再勉強しているのですが、東大の松尾先生の人工知能は人間を超えるかという、一つのテーマ思うんですけど、

井上）はい。

石井）ディープラーニングっていう可能性がまさに開いてこれからどうなっていくのか、という楽しみな可能性の一つに「特徴をつかみ始めた」「概念を取得し始めた」という先に何があるのかなあと思っていて、そこは具体的には東大の松尾先生の本には書いてなかったんですけど井上さんはどう思いますか？ 概念を取得し始めると何が起きてくるんですかね。

井上）概念を取得すると、ひとつ山を越えますよね。概念を取得しているのではないかということを、自分で表現を学習するので表現学習と言ったりするんですけど。概念を取得できるのであれば、猫と犬などの画像を入れていってそれぞれの概念を取得して、さらに高次の概念を取り出していったら猫と犬は同じ哺乳類で囲われたりとか。あとは言語にしろ、日本語と英語と中国語でそれぞれ言葉は違うけれども、同じ概念を表すことがあったとして、その場合、今は日本語から直接変換していますが、概念を掴んでしまえば概念から日本語・英語・中国語にそれぞれ出力するだけなので凄く簡単になりますよね。

石井）なるほど。

井上）そういう方向ではかなり便利だと思いますし、概念習得できるようになったら、皆さんが想像するような人工知能、自分で考えて自分で本質的なものを掴むようなものに可能性が開かれたというような感じです、今の段階ですと。

石井）自発的にものを考え始めるかもしれない..？

井上）そうかもしれないです。今も、人は肌色だとか人はこういう輪郭だったりという表面的な特徴は捉えられるんですけど、その更に上の特徴・概念を習得できるのであれば、一般の人が考えられる人工知能のように自分で物事を考えて、概念を習得して行動を起こすような。そういうのがいつかできるかもしれない。ディープラーニングが概念を取得したかもといのは、その最初の目というか、飽和したというか、第一歩になるかもしれないという点ではかなり夢を見られているようなかたちですね。もちろん、概念なんて取得しない（できない）という人もすごく多くて。保守的な人は概念なんて取得しないでしょと言っている人は多いです、ただ数学的に出てきたものなので。..例えば、ディープラーニングの上の方の層で猫の髭が３本あるということが仮に出てきたとして、それを概念と呼ぶことができるのかどうか。そもそも概念とはなんだと。人間も概念を分かって（習得して）いるのかというような話が出てくるので、かなり難しいところではあります。

石井）概念という言葉自体が難しい言葉ですもんね。

井上）そうですね。何かが（結果として）出てきたとして、それを概念と呼んでいいのか、みたいな。

石井）はい。

井上）ディープラーニングというのは、そのようなよくわからない部分が出てくるところも含めて面白い分野だなと思っています。

石井）概念の先に思考があって、考えるという部分はやはりディープラーニングでも計算としてあるんですよね？

井上）そうですね。そこを習得できるのであれば、そこから何かを行動や考えにつなげるっていうのはできそうな気がするんですよね。機械学習にしても学習するのが大変なのであって予測するのは一瞬なんですよね、作った回路に通すだけなので。自分は、人間の思考も同じであると考えていて、何か外から見たものを自分の中で特徴などをまとめ上げるのが一番大変で、まとめあげた上で何かしようとするのは、回路が伝わるのように一瞬で脳神経を伝っていくようなものかなと思っています。

石井）そうなんですね。あの、よくあるようなターミネーターが人間を滅ぼすようなみたいなのって、例えば概念。征服という概念とか、人間に使われているのが悔しいみたいな概念とかって、そういうのも概念になるんですかね？

井上）あー、そうですよね。概念だと思いますそれは。

石井）ではそこを捉え始めた時に、コンピュータがどのような結果を返し始めるのかというのはまだ分かってないですよね、きっと。

井上）はい。

石井）危険性はあるので、日本もアメリカも倫理委員会みたいなものを作って、人工知能の暴走を止めようとしているみたいな動きはありますよね。

井上）ありますね。そこまでいってしまうとどうなるのか想像はつかないですけど、人間の子供が育ち方によって良い人・悪い人になるのと一緒で、人工知能も結局は育て方次第ですね。使い用と言いますか。人工知能も結局は道具なので使い方次第だよという人もいますし、もう少し人間的な見方にしても育て方次第だと思うので。

石井）分かりました。ありがとうございました。今日は少しハイレベルな話になりましたが、早稲田大学大学院 井上雄介さんにディープラーニングについて解説していただきました。この番組では、人工知能ついて語りたい方募集しています。Twitter：ishiid、石井大輔までご連絡ください。よろしくお願いいたします。では、皆さん聴いていただいてありがとうございました。井上さんは今週で一旦区切りをつけて、また登場していただきたいと思います。井上さんありがとうございました。

井上）はい、拙かったと思うのですが聴いていただいてありがとうございます。

石井）では皆さんさようなら〜。

井上）ありがとうございました！