[CC Lab21春]初めての本格的なグループ研究とコロナ(MR4MR: Mixed Reality for Melody Reincarnation)

※本投稿はComputational Creativity Labの最終課題を兼ねています

はじめに、制作に至るまで

今学期は昨年とは全く異なる環境での制作となった。やはり最も大きな点は、初めて対面でメンバーに合ったことだろう。私は、去年の春から徳井研に加入しているが去年は1度もZ館に行っていないどころか学校にすら行っていなかったこともあり、徳井さんですら1度しかあったことがない状況だった。それが、今学期は打って変わってグループでの研究でハッカソンをしようという中で何度か学校に出向き、最終発表ではほとんどの研究会メンバーに会うことができた。今まで、画面の向こうの存在として一人での活動が中心だったところからの最も大きな変化だった。
そして、他にも大きな変化があった。それは、作品制作よりも学会発表も視野に入れたグループでの研究であったというところだ。前学期はMusic Sweeperを1人で制作し、Music Sweeperはゲームであるために当然作品制作だった。それが、今までのX-magicの研究とX-music-generationが統合され、新しいスタイルでの活動となった。それでも1人で何か別の制作を行うという選択肢もあったが、今回こういったスタイルを選んだのには2つ理由がある。1つ目は、ただ単純に作品制作ではなく研究をしたかったということだ。今ままで行ってきた研究は、Drive and listenとMusic Sweeperの2つだが、どちらも作品制作だった。そこで、今後の卒業研究も視野に入れ、ここで1度研究を行ってみたかったのだ。正直去年、AIの研究を行うというよりは、AIを使って何かをすることがメインだったために、AIの技術を学ぶというよりはAI関連のツールを使えるようになったなと感じてしまった。ここで1度AIを深堀することは非常に良い経験になると思ったので研究に非常に興味があった。2つ目は、MRに惹かれたからだ。研究よりのものなら何でもいいと思っていたわけではなく、それなりに自分が興味があること、すなわちゲームによっているものがいいなと思っていた。そんなときに、X-magicを引き継いだMRを使った開発を行わないかという話になったのでそこに参加させてもらうことにしたのだ。それはMRがゲームに使えるなと思っていたからだ。MR(Mixed Reality)はARとVRのいわば中間地点であり、それぞれの良いところを複合させた複合現実だ。現状、ARやVRをゲームに利用した例はものすごく多い。しかし、MRは端末の圧倒的な値段の高さにより普及していない。そのために、ゲーム利用があまりなされていないのが現状ではあるが、今後MR機材の値段低下とともに、ARとVRの上位互換としてゲーム業界にも入ってくることは間違いないと考えている。そこでMRを作った開発にはもともと興味があったのだ。そして、最終的に決め手となったのは最初から決まっていた開発コンセプトだ。開発コンセプトは基本的に、MRによって描写されている弾が現実の壁に反射してそれが音になるというものだったが、これはほんの少しゲーム性を加えるだけでゲームに変換することができると思った。例えば、現在は弾をただ自分の好きなように触って動かしているが、そこに1つ輪を加えて点数を用意すればそれはもうゲームになる。輪が複数あって、そこにボールを1回触るだけで全部くぐれるように現実の机や、いすなどのオブジェクトの配置を工夫してみるようなゲームの完成だ。そこに、今の音楽生成要素が加わっても十分面白いのではないだろうか。このように、MRは今後ゲーム業界での注目の最新技術であり、ゲームに簡単に応用できそうな研究だったので参加を決めた。

※マインクラフトのMR版も2015年に発表されたもののまだ発売には至っていない（マインクラフト公式youtubeより）

MR4MR: Mixed Reality for Melody Reincarnationについて

ものが落ちた時にその音が音楽に聞こえることがある。それらをMRを用いて再現することでその場所固有の音楽を作るというものだ。MRによる現実世界でも仮想世界でもない複合現実の特徴により、現実世界では実現不可能だが現実世界のものとのインタラクションによる音楽生成を可能にした。ホロレンズのunityで描画されたメッシュとボールの衝突判定をoscでpythonサーバーに伝達し、そこから音楽を生成、実際に音楽として出力するという流れでできている。 現状と今後の展示に向けて 現状、ホロレンズからosc、pythonサーバー、生成、出力という流れは完成している。正直この段階でもかなり面白いが、ここで終わるのはもったいない。そこで、9月に行われる徳井研の展示に向けて、最終発表で頂いたフィードバックを参考にブラッシュアップしていく。

まず初めにサラウンド機能についてだ。現在体験者がボールがどこにあって、どこに反射したのかを判断するのは目視以外にない。さらに、実際のホロレンズの視界はデモ動画(ホロレンズの録画機能で撮影したもの)の視界よりもかなり狭い、見にくい、薄いとなかなか厳しい。こう言った事情やMRでの3Dでの音楽体験であることも考慮するとサラウンドを実装するのはかなり重要な項目と言えるだろう。サラウンドの実装については最終発表でも指摘されていたが、最終発表よりも前からサラウンド実装は視野に入れて進めていた。ただ、サラウンドの実装は一朝一夕にはできそうにない。まず、サラウンドといってもヘッドホンによる音楽体験を予定しているため、基本的にはバーチャルサラウンドとなる。バーチャルサラウンドは音の音量差ではなく、左右の音の出力タイミングのズレによって擬似的にサラウンドを再現するものであるが、そのズレは非常に短いものでありそれを制御する難しさや、そのズレの計算が左右だけではなく、より立体的になったとき（5ch、7chなど）の難しさを考えるとバーチャルサラウンドのシステムそのものをmaxなどで作り出すのは難しいと言える。そこで外部のツールを使うことを現在は予定している。Googleが提供しているResonance audioだ。これは音源を入力するとサラウンドにして出力してくれるもので、web(node.js)やunity、Xcodeなど様々なアプリ、端末に対応している。サラウンドにする上で、衝突した際の音をサラウンドで出力することになる(生成した音楽を何を基準にサラウンドにすればいいか分からない、決められないため)のでこう言ったツールを使えば可能だと考える。

今後はサーバー側の開発に関わっていく予定だが、サーバー側にも当然課題がある。特に、最終発表でも指摘された拍の問題だ。今回M4MRで使用している音楽生成AIのシステムであるmusic VAEの都合で、ボールが壁に衝突することで偶発的にできる音楽にもかかわらず、拍の長さをサーバー側で固定してしまっていた。開発に関わっていくうえでシステムの都合による考え方の固定化により完全に見落としていた点でもあり、自分に音楽の知識や経験が少ないことによる点を、音楽に詳しい第三者の方にも見ていただくことで補填できるのは非常にありがたかった。今後は、プロジェクトを俯瞰して見れるようになることで自発的に気が付けるようになりたいと思った。

まとめと反省

今学期は大きく環境が変わり、実際に対面で行うことが出来るようになったことで話し合いなどがかなりやりやすくなったように感じた。しかし、グループでの研究開発おける私が抱えていた問題点はオンライン環境だけではなかった。徳井研に入って最初の学期、ちょうど1年まえでも痛感していたデバイスやソフトウェアの問題だ。様々なデバイスやソフトウェアがなく、またそれを用意するにはお金が必ず必要になり、そしてどんどん進めていく先輩方におんぶにだっこで進んでいきあまり貢献できなかったと感じている。デバイスがないことは最初から分かっていたのでできることを見つける努力はしていたものの、当然できることは少なく、オフラインでの活動も今まで家のデスクトップに構築してきた様々な環境を置き去りにした5年も前のノートPCを引っ張り出しての作業となり、対面のやりやすさよりPCスペックの低さによるやりにくさが目立った。このようにまとめのレポートを書くことで今学期の自分の活動を俯瞰し、反省できることは非常に有意義だとは思うが、今学期は個人的に最も悪い学期だったと思っている。時間的な余裕があるにもかかわらず、あまり貢献できていなかったからだ。正直、前学期のmusic sweeperも進めながらでもよかったと思っている。しかし、今後は仮想環境上でのサーバー開発を進めていく予定であり、来期はmusic sweeperをgoogle magentaに報告できるくらいに仕上げていく予定なので、今学期の反省を教訓に頑張っていきたい。