[x-Music Lab 23秋] Sonic Rhopalia
慶應義塾大学 環境情報学部2年 x-Music Lab所属 平良建史朗
私は、2023秋学期において、「Sonic Rhopalia」という作品をProject Leadという立場で、制作を行なってきました。この作品は、もともと私が前学期に行っていた研究が軸になっており、今学期は「ZOU-NO-HANA FUTURESCAPE PROJECT 2023」への出展に向けて、グループで作品制作を行ないました。そこで、活動報告という形で、作品の詳細やどのような活動をしてきたのかを書きたいと思います。
- 作品名
「Sonic Rhopalia」
2. 活動の背景
「ZOU-NO-HANA FUTURESCAPE PROJECT 2023」に出展するため、音とクラゲを愛する7人組による作品制作チーム「ZΩH（zoi）」を結成しました。クラゲの生態について研究していたメンバーを中心に、クラゲの生命システムを応用した未知なる音楽を探求することになりました。クラゲと人間ー生物種間を越境した作品をつくりあげるべく、クラゲの元に集まったのが、活動の背景としてあります。
3. 活動目的
「ZOU-NO-HANA FUTURESCAPE PROJECT 2023」への出展を目的とし、新しい干渉/鑑賞方法により、クラゲという自律型受動的生命体について再び思考する場を提供することを目標に、作品制作に取り掛かりました。
4. メンバー構成
アーティスト：ZΩH(zoi）/ x-Music Lab 藤井進也研究室（慶應義塾大学）
平良建史朗、半田壮玄、柴田莉紗子、アナンニミシャ、星野良太朗、牧宇晏、松田蓮、田中堅大、小林良穂、魚住勇太、藤井進也
協力：Acknowledgements: SUMIDA AQUARIUM, Ishii-Ishibashi Fund
5. 本作品のコンセプト
クラゲは最もシンプルで完結した環世界を持った生命体である。彼らの美しい生動は、洗練された階層的な神経信号から生み出される。機能的なシンプルさを持つ構造から生まれる拍動という振る舞いは、固有のリズムを刻み続け、私たちに未知な生命感を感じさせる。
本作品はクラゲの拍動から生み出されるサウンドインスタレーションである。TouchDesignerを使用し、WebCameraからクラゲをリアルタイムで動画入力、画像解析によって拍動の検出を行う。画像解析ではオープンソースライブラリであるopenCVを使用し、カラーチャンネル分類による面積計算によって拍動の検出を行っている。
拍動を検知すると、TouchDesignerからMaxにOSCを通じて送信し、音楽生成システムのトリガーとなる。拍動に合わせて音が作られ、クラゲ同士が同時に拍動するシンクによって和音が生成される。そうした音の重なり、回数的な重なりによって、本作品は音楽的な展開を作りだす。
クラゲはRhopaliaと呼ばれる感覚器官から外部刺激を得ることにより、拍動という生存行動を行う。そして拍動は新たな水流を起こし、その波は再び外部刺激として次のクラゲの拍動を引き起こすトリガーとなる。こうした目に見えることのない相互作用は時間をかけ、6億年という種の存続として表象する。
本作品もまた、クラゲの拍動を音楽生成のためのインターフェースとして扱うことで、クラゲの起こした拍動の相互的な作用によって空間に音楽的な展開が生まれる。
※クラゲのご提供・管理協力：すみだ水族館
6. 作品写真
7. 本作品の概要
本作品は、クラゲの拍動から生み出される偶発的なサウンドインスタレーションです。4匹のミズクラゲをリアルタイムトラッキングし、面積検出によってクラゲの振る舞いを分析、音響化します。そして各水槽を泳ぐミズクラゲのリズムによって偶発的な音響が作られ、複数匹の拍動のシンクによって、音響や光に変化が生まれていきます。
（1）サウンドについて
音楽生成システムは、主にTouchDesignerの拍動検知モデルから拍動をbangとしてAbleton LiveとMax for Live (M4L) にOSCを通して送信しています。4つのクラゲの拍動を受け取り、拍動の間の時間を計算し、10ms以下の場合はシンクとして判定しています。このように、4つのパルスの情報と、6通りのシンクの情報をもとに、従来的な鑑賞方法では感じ取れないクラゲの拍動の生命的なリズム、そしてクラゲ同士の偶発性を、音楽のリズムと展開を通して表現できる音楽生成システムを形成しています。本作品の音楽の展開は、4つのクラゲのSyncの回数によって進行します。作品の一つのループは全80回のシンクをもとに形成され、単純なクラゲのリズムから、複雑な相互作用へと作曲の重点が変更されます。音楽は基本的に、クラゲの拍動の音と、拍動がシンクした時に音が出るようになり、クラゲの生体の偶発的なポリリズムが奏でられます。音楽が進行するにつれ、クラゲの拍動をトリガーに、音色にモジュレーションがかかり、さらにリズムが加わり、徐々に複雑化する音楽が生成されるようなシステムです。
（2）ライトについて
ライトは、クラゲのリズム感を感じやすくするため、拍動とシンクに合わせ、それぞれ4つの水槽を照らしました。全体的に、拍動を短いRelease のライト、シンクロの場合は長い点滅、もしくはストロボなどを利用して、区別できるよう制作しました。また、M4Lを利用し、Phaseごとに音楽の特徴に見合うADSR CurveをOSC を通してTouchDesignerに送ることで、TouchDesignerからのDMX制御を可能にしました。
（3） クラゲ検知について
クラゲの動体検知は、TouchDesignerをメインで使用し、まずWebcameraを通して、クラゲをリアルタイムで動画としてインプットします。その後、青光源でグレースケール化し、さらにクロマキー化して背景を透過させます。openCVでカラーチャンネルにして分割し、アルファチャンネル以外のピクセル数を計測後、数フレーム前と面積差分を取って拍動を検知するという方法を行いました。
8. 主な活動内容・所見
主な活動期間は、2023年10月～12月であり、その期間内に行ったZΩHの活動内容を記載します。
【10月】
10月は主に作品のコンセプト決め、方向性を固める、テックライダーVer0.1, 0.2, 0.3, 1.0の提出などを行いました。私たちZΩHにとって、10月～11月の初旬は作品のコンセプトが二転三転した時期であり、教員の方々のアドバイスをはじめ、それを踏まえてチームメンバーを招集し何回もMTGを重ねました。展示本番まで、毎週開催されるゲネに向けて、毎日深夜までプロトタイプを制作してはFBをもらうの繰り返しであり、非常に苦しかった期間が多くありました。しかしある時、自分たちの実力の上限を測った上で、シンプルなもので良いからコンセプト（案）を作ろうという流れに辿り着きました。そこからは、非常にスムーズにコンセプト案がまとまっていきました。これらを解決することができたのは、何回ものMTGや教員の方々のアドバイス、プロタイプ制作を実行したからこそだと考えています。
【11月】
11月は主にテックライダー最終稿の提出、クラゲの検知方法、クラゲ・海水の調達方法及び管理協力の依頼、什器制作やそのほか使用機材の安全性確認などを行いました。私たちZΩHにとって、11月から本番にかけては本格的に作品を制作していく非常に多忙な時期でした。まず、テックライダーの最終稿を提出するにあたり、何回も展示場所である象の鼻テラスを訪れました。作品の配置案（水槽やスピーカーの位置、個数など）がすぐには決定できなかったため、現地に赴くことで、計測やシミュレーションを綿密に行いました。ゼータ棟の外でも実際に使用するスピーカーを実寸で設置することにより、音の響き方やローハイの調整、音色の選択などの微調整を行うこともしました。それにより、作品のイメージをより膨らませることができ、最終的にテックライダー最終稿を提出することができました。
クラゲの検知方法に関しても苦戦しました。展示本番は夜という環境であるため、クラゲをカメラで検知することが非常に難しいことがわかりました。そこで、私たちZΩHは様々な方法を試しました。例えば、水槽を照らす照明の色の変更や様々な種類の赤外線ライトの使用、カメラの設置位置及び角度の検討、クラゲが泳ぐ可動域の調整、Webカメラの種類、検知時間のタイミング調整などが挙げられます。これらを何度も実験・検討した結果、市販の超広角Webカメラを使用し、水槽を常時青色にすることで問題を解決することができました。
クラゲ・海水の調達方法及び管理協力の依頼に関しては、私・平良が個人研究でもコンタクトを取っていた「すみだ水族館様」にご協力していただくことができました。対面MTGなどを経て様々なお話を伺い、クラゲを管理するにあたってのアドバイスを何度もいただきました。
什器制作やそのほか使用機材の安全性確認に関しては、展示用水槽のサイズを60cm × 30cm × 45cmに小さくしました。水槽を鑑賞者の目線まで高くするために嵩上げ台のサイズを大きくし、水槽台及び嵩上げ台諸々を黒く塗装した什器で覆い接着することで、安全性を高めました。また、配線も可能な限り什器内部に通すことにより、鑑賞者の転倒を防ぐことができました。さらに、スピーカーに関してもスタンドを什器に直接接着して、高さを足元よりも上げることにより、スピーカー自体が鑑賞者に踏まれないよう工夫し、什器全体の強度を上げることに繋がりました。
【12月】
12月は主に作品のインストール準備やクラゲや海水・そのほか機材等の運搬を行い、最終的にインストール本番、展示本番を迎えました。作品のインストール準備は、インストール前日まで行い、クラゲや海水を含むアクアリウム機材やそのほか使用機材の運搬などは想像以上にスムーズに稼働できました。最後の最後まで、クラゲ検知の設定や什器制作、そのほか機材の安全確認等も臨機応変に対応することができました。展示本番も、大きな問題なく、スムーズに準備及び撤去を進めることができました。
9. 活動の成果
活動の目的である、「ZOU-NO-HANA FUTURESCAPE PROJECT 2023」への出展は無事成功を収められたと考えます。また、新しい干渉/鑑賞方法により、クラゲという自律型受動的生命体について再び思考する場を提供するということに関しても、実装期間が短い中ではありましたが、質の担保された作品まで届いたのではと感じました。アイデア出しや制作面の問題等も多々ありましたが、その都度、臨機応変に対応することができたと思います。このように対応できたのは、定例MTGなどメンバー間での円滑なコミニュケーションができており、タスクが膨大な分、仕事の分担もしっかりなされていたことがプラスに働いたと考えられます。
展示期間中に関しても、やはりクラゲという存在を、コゾウの鼻という特徴ある空間で展示したということもあり、鑑賞するお客様は想像よりも多かった印象がありました。また、展示中に在廊する中で、お客様からのご意見やそのほかお話をする機会がありましたが、評価が高く、リアクションも良かったと思います。
さらに、すみだ水族館様や象の鼻テラスのスタッフの方々、そのほか様々な方々と出会い、関係を築くことができたのは、非常に貴重な経験であり、今後につながるような作品になったと思いました。
10. 問題点や反省点
金銭面の管理で、予算超過等の問題があったため、コンセプト（案）構想の段階から、機材や材料の検討を行えば良かったと反省しています。また、実装やそのほかのタスクが多いこともあり、コンセプト（案）を詰めることができなかったことや作品強度を上げられなかったことに反省しています。システム関係では、実装方法に脆弱性の高さが見受けられました。制作するにあたっては、制作及び実装を完了させるために必要なリソースがなかったり、電力計算やケーブル長、什器設計の見通しなどの甘さを痛感しました。
11. 今後について
今後、NIME2024やSICFなどに作品を提出する予定ですが、さらに良い作品づくりを行うために、私たちZΩHは3つの観点から今後を考えてみました。
（1）議論ベースでの作品作り及びメンバー間での思想共有
今回の展示では、コンセプトをしっかり詰めることができなかったため、話し合いを怠らず、今後は議論ベースで、作品の強度をつけるための意見交換を行い、作品と向き合っていきたいと思いました。また、メンバー一人ひとりの作品への向き合い方を話し合うことは作品を制作するにあたり、非常に重要だと感じたため、今後に生かしていきたいと思いました。
（2）議論を踏まえての本作品の再実装
システムを再実装することにより、画像分類モデルの実装やクラゲの向きや場所に依存しない面積推定による拍動検知などの別の方法も試すことで、クラゲの検知精度を従来よりも高めることにつながると考えました。また、今回の展示では、クラゲ自体の存在に負けてしまい、クラゲの拍動をカメラでリアルタイムトラッキングして可聴化しているというシステム自体を認識できなかった鑑賞者が多かったのではと考察しました。そこで、作品自体の魅せ方を様々なアプローチから考えるべきだと思いました。
（3）論文やそのほか資料のサーベイ
論文やそのほかの資料をサーベイすることは、作品の強度を増すにあたり、非常に重要だと感じました。特に、クラゲを生物学的にサーベイし、独自に研究することは、作品のアップデートにも繋がり、将来的には新たなクラゲの可能性を見出せるのではないかと思いました。
12. 新規性・将来性
インタラクティブではあるが、閉じている機能環を持っているというクラゲの特性に着目し、その相互作用が、鑑賞者たちにもなぜか作用してしまう、そのような特性を持つクラゲを音楽インターフェースとして用いるということは、新規性があり、今後、NIME2024への提出や、そのほかクラゲに関する作品やパフォーマンスを制作する中で、今後も、まさにクラゲの新しい干渉/鑑賞方法を探求することができるのではと私は考えます。
13. 参考URL
https://fsp.zounohana.jp/2023/programs/x-music-sonic-rhopalia/
14. 謝辞
本作品を制作するにあたり、最後まで暖かいご指導、ご助言してくださいました、x-Music Labの藤井進也先生をはじめ、魚住勇太先生、小林良穂先生、田中堅大さんに、心より感謝いたしますと共に、厚くお礼申し上げます。
また、クラゲの提供・管理協力をしてくださいました、すみだ水族館様をはじめ、支援していただきました石井・石橋基金による慶應義塾大学若手研究者育成ものづくり特別事業様にも心より感謝いたしますと共に、厚くお礼申し上げます。
このように、ZOU-NO-HANA FUTURESCAPE PROJECT 2023を終えることができ、何度もご指導していただいた教員の皆様や関係者の皆様、そして、共に助け合いながら過ごしてきた研究室の皆様、ZΩHのメンバーの皆様に心から感謝申し上げます。
本当に、本当にありがとうございました。
