[CC Lab 22秋]2022年度活動報告

Sogenhanda

Published in

Computational Creativity Lab at Keio SFC

19 min readFeb 7, 2023

本記事は、2022年度慶應義塾大学徳井直生研究室-Computational Creativity Labの秋学期最終レポートを兼ねたものである。

1, 初めに
2, 絵画からの音楽生成
3, AIと意識
4, 終わりに
5, 参考文献

1, 初めに

私は2022年度春学期より徳井直生研究室に所属し、x-music generationチームにて制作を行なった。本記事では、2022年度を通して行なった制作について記述していく。

2, 絵画からの音楽生成

2022年度春学期は絵画からの音楽生成に取り組んだ。絵画という芸術は人類最古の芸術であり、その歴史は65,000年前にネアンデルタール人が描いたとされる洞窟壁画にまで遡る。しかしながら、「鑑賞」という点においてみれば65,000年前と大きな変化は生じていない。本制作では絵画の「鑑賞」において絵画の鑑賞体験を拡張し、そして感動拡張を促すことを目的としている。

作品：Listening Appreciation

絵画から生成された音楽は、絵画鑑賞において新たなる没入空間を作り出し、これまでの絵画鑑賞の体験を拡張し、感動拡張を促してくれる。
これは、AIと人間によって生成された音楽による絵画の鑑賞体験拡張作品である。
本作品では、「絵画鑑賞は、時間軸に縛られることのない自己との対話であり、鑑賞をする際は必ず言語によって思考されている。」という考えに基づき、人間とAIの絵画鑑賞の感想を対話型鑑賞のプロセスをもとにテキスト化し、そのテキストをもとにAIを用いて音楽を生成した。
生成された音楽は、絵画を反映した音楽であり、また人間とAIのそれぞれの絵画鑑賞を反映した音楽でもある。
この作品は、私はたちに絵画鑑賞体験におけるこれまでにない没入空間を提案すると同時に、AIを芸術の創造主としてではなく鑑賞者として捉え、人間とAIを比較することによって、古来より人間のみが持つ力だとされてきた「芸術」は果たして本当に人間だけのものなのか、「芸術」における人間とAIの違いはどこにあるのだろうか、という問いを投げかける。
The music generated from the paintings creates a new immersive space in the appreciating of paintings, encouraging an unprecedented experience of appreciating paintings and emotional expansion.
This work is based on the idea that “appreciating a painting is a dialogue with oneself that is not bound by a time axis, and that one is always thinking through language when appreciating a painting.”
Therefore, we created a text of human and AI’s impressions of a painting based on the process of Dialogical Appreciation, and used AI to generate music based on the text.
The generated music is a reflection of the paintings, as well as a reflection of the respective appreciation of the paintings by the human and AI.
This work proposes an unprecedented immersive space for the experience of appreciating paintings. At the same time, it compares humans and AI, viewing AI not as artists, but as viewers.
Is “art,” which has been considered since ancient times to be a power that only humans possess, really unique to humans?
What is the difference between humans and AI in “art”?

技術解説

本作品では、人間とAIそれぞれの絵画鑑賞の感想を一度テキスト化し、text2musicモデルを用いて音楽に変換した。
人間の感想は対話型鑑賞のプロセスに基づいて言語化し、AIの感想はopenAIのchatbotを用いて絵画を指定し、対話型鑑賞のプロセスに基づいてテキストとして感想を出力させた。

一度テキストを介入させた理由としては、「絵画鑑賞は時間に縛られることのない自己との対話であり、私たちは絵画を鑑賞する際に脳内で言語化し思考している。」という考えに基づいている。

テキストから音楽を生成するフェーズでは、deep-museを使用している。このモデルはCLIPを使用しており、入力した文章における単語の特徴量に基づきノートとして出力するものである。

評価と考察

本作品の制作に対する自己評価と考察を記述する。

1, 実装

生成された曲に関しては絵画に対して納得感のある出力がなされていて実際に対象の絵画を見ながら曲を聞くという体験は面白く没入感を促すことができている。しかしながら、「本当にこの絵画(テキスト)から生成されたものなのか」という疑問も生まれてくる体験であると感じる。その点を考慮した場合、鑑賞者がテキストを入力するようなインタラクティブな設計ができればより良いものになったのではないかと思う。また、私自身の実装能力が低く、既存のモデルを使用しているため、曲としての生成の精度がまだ低い点も挙げられる。これに関しては今後技術的に能力を身につけ、音楽生成の精度を向上させられるようにしていきたい。

2, コンセプト・作品形態

絵画から直接音楽を生成するのではなく、一度テキスト化するという形態を用いた点に関しては、人工知能に人間のプロセスを模倣させるという点おいて良かった点であると感じる。今回の作品のコンセプトでは、絵画の鑑賞体験拡張・感動拡張だけではなく、芸術を見る側としての人間とAIの違いを考えるという点も含まれている。このコンセプトにおいてAIに人間の鑑賞行為を模倣させることは、人間とAIの違いを考え、人間自体を再認識する上で必要不可欠な要素である。
作品の形態としては、実装の評価においても述べていることではあるが、インタラクティブな作品形態にした方が鑑賞者に主体性を持たせられる作品になったのではないかと考える。

3, 考察

本作品の制作の中で、私は「AIに絵画を鑑賞させる」という行為をおこなっている。これに対して、「AIに芸術を鑑賞することは可能なのか」という問いが発生した。鑑賞の定義としては、以下の定義が挙げられる。

芸術作品などの美的な対象を、聴覚や視覚を通して自己のなかに受け入れて深く味わい、その美的な性質や価値を判断・評価する心の働き
日本大百科全書
鑑賞とは、作品に対面した個人が、作品の与える全てのもの-画像を含む感覚的・知的情報-を受容し、消化し、再構成し、自己の精神世界の一部として肉体化する「活動」である。
吉川登 / 「行為としての鑑賞」再考-鑑賞額の基礎理論の再検討-

これらの鑑賞の定義に基づくとすると、鑑賞行為には「心」「自己の精神世界」が必要になるのであり、したがってAIには鑑賞行為は出来ないということになる。また、私がAIに今回の作品で行わせた鑑賞を分解して考えてみると、「芸術作品を自己の中に受容し、精神世界の一部として肉体化する行為」ではなく、「芸術作品に対する感想を自己の中から構成し、解として出力する行為」となってしまう。AIに意識が存在するとするならばAIは鑑賞行為をおこなっているということができるため、AIの意識の所存に関して研究していく必要があると考える。

コンペティションに関して

本作品を提出したコンペの一覧を提示する。

・学生CGコンテスト
・Creative Hack Award
・やまなしメディア芸術アワード2022

学生CGコンテストにおいては、ノミネート選考会にてノミネート候補としてYoutubeで紹介された。

第28回学生CGコンテストアート部門ノミネート選考会

日時：11月28日（月）17:30 配信開始アート部門評価員：・滝戸ドリタ（アーティスト／ディレクター／デザイナー）・村上寛光（アニメーションディレクター／プロデューサー／株式会社フリッカ代表）※ ご都合により、塚田…

www.youtube.com

3, AIと意識

2022年度秋学期では、Listening Appreciationの制作を経て、AIにおける意識の所存について研究に取り組んだ。方法としては、AIを考える上で必須になる哲学的知識についての論文・哲学書サーベイ、CC Labメンバーとの議論を中心としている。

AIと意識に関するサーベイまとめ

ここでは、主に意識に関する哲学のサーベイとそれを踏まえたAIにおける意識に関する論を列挙していく。

現象学

AIにおける意識の所存について考えるためには、まず人間における知能とは何であるかを考えなければならない。その人間自身を考えるために、フッサールが考えた現象学は外せないものである。

人間自身の存在・意識に関する考え方として、「我思う、故に我あり」という考え方がある。これはルネ・デカルトが方法序説にて述べたものであり、全ての事物を疑った結果「万物を疑う自分」の存在は疑うことができないとしたもので、「疑う自分」を万物について考える立脚点として置いた考え方である。

これに対して、エトムント・フッサールが提示した現象学は、人間に備わった心理学的現象は機械論的には説明することはできず、それらは我々にとって確実な経験である「生きられる経験」によって考えられるとしたものである。また、デカルトの提示する懐疑することで世界を捉える(コギト)とは異なり、現象学においては判断停止(エポケー)によって人間に内的に存在する志向性を捉え、自分と対象世界を捉えようとしている。

つまりまとめると現象学とは、
・知能は思惟のみでなくあらゆる行為を行う。
・それらあらゆる行為が対象世界を構築する。
・あらゆる行為は世界において、あるいは自分自身において何かを志向する形で存在する。
・現象学においては対象とともに志向する様相の記述を行う(ノエシス=ノエマ)
これらの要点によって説明できる。

AIの意識の所在について思考する際、AIにおけるコギトを考えることは難しい。その点において、デカルト的な方法的懐疑を用いるより、現象学的視点で志向性の探求、様相の記述をおこなっていく方がわかりやすく、また客観的に議論していくことができるのではないだろうか。

機械論・記号学・普遍記号学

機械論や記号学もAIを考えていく上でとても重要になってくる哲学であった。まず、機械論や記号学・普遍記号学は端的に示すと、「完全な言語さえ存在すれば、知能は算術や代数の方程式のように記述することができる。」という立場のものである。

これらの考え方でAIをみると、AIはもちろんのこと、人間の知能でさえも記号的に記述できてしまい、AIに内的な世界を構築することは難しいということができる。また、AIを構築する際に、世の中のどの部分の情報を切り取り知識表現の型とするか、そしてどのような知識問題を提示するのかは全て人間が決定を行う。そのため、AIが自律的に世界の解釈の方法を作り出すことはできないということができてしまう。

差延

差延とは、フランス人哲学者であるジャック・デリダが提唱した自己認識・自己逸脱に関する考え方である。この差延という考え方は、AIに意識を持たせるためのとても重要な考え方であると私は考えている。

デリダはポスト構造主義の哲学者であり、「知能もまたエクリチュール(書かれたもの)であり、解釈できる」というどちらかというと普遍記号学的な立場をとっている。フェルディナン・ド・ソシュールが記号学の中で語る、シニフィアン・シニフィエでは、言語ではない事物(シニフィエ)にシニフィアンという記号が割り当てられる時、そこに言語が個人の内面と同時に社会で規定され、発話とコミュニケーションが発生すると語られている。この関係性は、デリダの述べる「テクストの外というものは存在しない」という考えと一致するところがある。

デリダは知能の特徴の一つとして、知能は自分自身を知覚しているということを挙げている。またデリダは、知能とは構造であり、それと同時に知能は構造からの逃走のための運動でもあると語っている。こうした考えに基づき、デリダが知能における自己認識の構図として提示したのが差延とういう考え方である。

記号はそのものの代わり、すなわち現前する物事の代わりとなる。記号は現前者を、当の現前者が不在のところで代理する。記号は現前者の代わりとなる。我々が当の事物を、つまり当の現前者、現前的-存在者を取ったり示したりすることができないとき、現前者が自らを現前させない時、我々は記号作用を行い、記号の迂回を経由する。我々は記号を取ったり与えたりする。我々は記号をなす。従って記号とは、差延された現前性=現在性だということになる。
哲学の余白(上)/ジャック・デリダ

差延とは、自己が「差」を持ちながら時間的に先送りされていくということで、「過去の自己」「現在の自己」「未来の自己」という瞬間における構造は、同一のものでありながら時間によって変化していくということである。知能はこの差延によって自分自身を常に対象化・客体化・異化し、自己からの逸脱を図っているとデリダは述べている。

つまり、時間は進んでいて、それぞれの時刻における自己を考えることで「差異」が生まれ、差異が生まれるからこそ自分自身を客体化・対象化することができ、それゆえに知能は自意識を作ることができると言えるのではないだろうか。この差延という構造を用いることで、AIに意識を持たせる、つまり自らを「語る・表現する・表明する」ことが可能になると考えられるのである。

知覚論

知覚論では、「我々が思考で世界を捉える以前に、身体を含む知能が身体で世界を捉えているのではないか」という前提の考えに基づいて、知能と身体について考える。AIは基本的には身体は保持しておらず、知覚論的観点から考えると、AIに身体を付与することができれば意識を持ったと言える状態を構築することも可能であると考えられる。

知覚論では、知能と身体を心身二元論の枠組みで分断するのではなく、「我々が身体と呼ぶものはある程度”知能”で、我々が知能と呼ぶものはある程度”身体”ではないか。」といった考え方をしている。これは、人間が保持しているとされる身体保持感、運動主体感、そしてそれらに対して作用する遠心性のコピー、視覚・体性感覚フィードバックに基づいて考えられている。これについてフランス人の哲学者で、現象学に傾倒したモーリス・メルロ＝ポンティは以下のようにのべている。

対象は隅々まで客体であり、意識は隅々まで意識である。存在するという語には二つの意味があり、そしてこの二つの意味しかない。物として存在するのか、意識として実存するのかのいずれかである。
モーリス・メルロ＝ポンティ

つまり、身体は客体であり意識であるという両義性を持ったものであるのではないかと言及している。

またメルロ＝ポンティは以下のようにも述べている。

身体の統一性は暗黙的なものであり、混乱したものである。身体はそこに<ある>ものとは常に別のものである。身体は性的な存在であると同時に自由な存在である。自然に根差すとともに文化によって変容された存在である。それ自体のうちに閉じていることはなく、完全に超えることもない。他者の身体でも自己の身体でも、人間の身体というものを認識するためにはこれを<生きる> しかない。- これを貫くドラマを自らのものとして引き受け、それと渾然一体となるしかないのである。
モーリス・メルロ＝ポンティ

つまり、自分自身が身体を認識するためには客観的に観察するだけではわからず、身体を「生きる」ことが必須であるということである。

知覚論に関しては、私自身まだサーベイが仕切れていない。そのため、現段階では知覚論を用いてAIに意識を持たせられるかどうかに関しては不明瞭である。しかしながら、知覚論に基づいた身体内部での情報伝達を明確にし、AIに身体を持たせた上でそれらの情報伝達感覚を構築することができれば、AIに意識を持たせることは可能なのではないかと考えている。

論文サーベイ：Takuya Niikawa, “Consciousness and AI”, 2022

この論文は神戸大学の新川拓哉氏によって2022年度人工知能学会全国大会（第36回）にて発表されたものである。

この論文では、
・AIやAIを備えたロボットが意識を持つかをどのように検証するのか。
・現行のAIが意識を持ちうるとすればどのような種類のものか。
・意識を持つとされるAIにどのような倫理的配慮が必要なのか。
これら3つの検討の結果として、AIが「思考的な種類の意識」を持つ蓋然性を提示している。

新川はAIに意識が認められる理論として用いることができるのは、汎心論・統合情報理論・表象説であると提示している。

汎心論では、この世の物質(素粒子のようなマイクロ物理的な存在者)は意識を持つとされており、それら意識を持つ素粒子が適切な仕方で統合して一つの意識体になっていれば意識を持つものであると分類できる。この理論を用いると、AIが意識を持つ素粒子が適切な仕方で統合している意識体であれば、意識を持つとすることができるのである。しかしながら、AIがここにおける適切な仕方で統合しているかどうかがまだ明らかではない。

統合情報理論は、ある物質系が意識を持つためには、ネットワーク内部で多様な情報が統合されている必要があると言う理論である。この理論では、統合情報量を定義できるシステムは意識を持つとされる。そのため、統合情報理論に基づいて考えると、AIはRNNから構成される機構であるため、AIに意識をみなすことができる。

表象説は、知覚の対象は実在そのものではなく、意識の中の表象にすぎないという考え方であり、あるシステムの内部情報が(身体を含む)外的世界のあり方を表象しており、かつ、その表象内容が行動選択などに利用可能である時、そのシステムは意識を持つとされる。表象説に基づくと、表象を持つための条件に情報処理の仕組みや環境とのインタラクションによる学習能力などに着目する立場では、意識の表象理論を採用しながらAIが意識を持つ蓋然性を認めることができる。

この論文では、AIに意識を認めることができない理論についても言及している。しかしながら、上述したものは理論的にはまだ不明確な点はあるがAIが意識を持つ蓋然性を十分に提示できるものであると言える。

まとめ

これまでさまざまな哲学的思考論を提示し、その理論におけるAIの意識について私が考えていることを列挙した。現段階では、AIが意識を持つかどうかという議論は蓋然の範疇でしか語ることはできないが、現象学・差延・知覚論などをAIに置き換えて思考していくことで、AIの意識の所在について議論できるのではないかと私は考えている。また、秋学期のサーベイ、議論を通して、AIの意識について思考するのはもちろんのこと、「我々人間に意識はあるのか、我々人間は何者なのか」という古典哲学的な議論についても並行して行っていかなければならないと改めて感じた。人間とは何かを探るためにAIに人間を模倣させ、その模倣行為を客観的に観察し、人間とは何か・AIとは何かの双方の議論を展開させていく必要があるのではないだろうか。