[x-Music Lab 23春] クラゲと音楽を融合する新たなパフォーマンス/インスタレーションの提唱
慶應義塾大学 環境情報学部2年 x-Music研究会所属 平良建史朗
背景及びこれまでの経緯
私自身、クラゲが大好きすぎて、中学高校時代にクラゲの研究をしていた経験がある。また、幼い頃から音楽も大好きで、これまでピアノやギターなどの楽器演奏や作曲などを行なってきた。このような背景もあり、大好きなクラゲと音楽をコラボレーションさせ、新たな実践的なパフォーマンスを提唱することはできないかと考えた。
研究を進めるにあたって、まずは、新しい形で様々なクラゲを展示している「すみだ水族館」の方々にお話を伺った。その後、名だたる水族館の館内音楽を担当している株式会社MMP様や数々のメディアアートを手掛ける近藤テツ様、SFC卒業生であり、「かざすAI図鑑」などを開発している株式会社Linne Lensの杉本謙一社長のアドバイスを頂き、今後どのように研究を進行させれば良いのか、また、クラゲの拍動数をデータ化するプログラムや音楽との関連性などを知ることができた。
目的(目標)
「クラゲの拍動を可聴化することで、人間と共感する。」
クラゲの健康状態を把握する上で、重要な要素である「拍動（クラゲの傘を開いたり閉じたりする動き）」と呼ばれるリズムをカメラでトラッキングし、可聴化することにより、クラゲとのセッションなど、新たな実践的パフォーマンス及びインスタレーションが生み出されていくのではないかと考えた。
研究概要及び方法
上記にある目的（目標）を達成させるため、3つのアプローチ方法を設定した。主に実験対象は「ミズクラゲ」である。
１. クラゲに人が合わせてセッションする。
クラゲの拍動数を物体認識ソフトウェア（TouchDesigner及びDeepLabCut）を使用してクラゲを認識させ、その動きをOSCで送信。その後、Ableton Liveで音楽制作。
２. クラゲから音を取得し、その音とセッションする。
ミズクラゲよりも動きが活発で拍動が比較的速い「キャノンボールジェリー」や「カラージェリーフィッシュ」を対象に実験を行う。
３. クラゲを音でコントロールする。
クラゲを音でコントロールできるかは不明だが、研究してみる価値は十分にあると考えられる。クラゲは、音の高低差ではなく、音の大きさによって拍動数が変化するのではないかと考えられる。例えば、クラゲが泳いでいる水槽に水中スピーカーを設置し、何らかの大きい音を流すことで、どのような動きを見せるか実験し、そこからどのような音楽を制作するのかをインスピレーションすることも検討している。
実装
背景や目的（目標）、研究概要を踏まえて、まずは初めの段階として、クラゲと音楽がどのように融合できるのか、何かしらの作品を制作してみようと考えた。
システム
中間発表の際は、水槽内にクラゲが複数匹泳いでいる映像を使用して、作品を制作したが、最終的にはクラゲ1匹のみが映っている映像をあえて使用して、より分かりやすい作品に仕上げた。中間発表の時と同様に、TouchDesignerを使用して、クラゲの位置情報をBlob Tracking/Color Trackingで認識させた。その後、OSCでAbleton Liveに送信して音楽を制作するというシステムを構築した。
しかし、クラゲのセクシーで繊細な触手や細やかな拍動を詳細に認識するにはTouchDeisignerでは非常に難しい部分があるため、TouchDesignerと同時並行で、DeepLabCutでもクラゲを認識させることにした。DeepLabCutとは、DNN（Deep Neural Network）を用いてヒトや生物の体の部位をラベル付けし、トラッキングを行なってくれる動画解析ライブラリのことである。これらを使用して、クラゲのより詳細な動きをトラッキングすることができる。最終的に今学期はTouchDesigner上で、複数のクラゲと単体のクラゲを認識させたが、複数のクラゲよりも単体のクラゲの方が音の変化がわかりやすく、さらにはクラゲの認識精度も高まった。これらを踏まえて、DLCでもさらに精度が高い認識ができるようにしていきたい。
制作した作品一覧
今後の展望
この研究は、クラゲと音楽による新たな実践的なパフォーマンスやジャンル：クラゲを生み出すだけではない。クラゲを音でコントロール等をすることにより、クラゲの大量発生による漁獲量減少を防いだり、さらには、火力発電所等の取水口にクラゲが大量発生することも未然に防ぐことができるようになれるなどの将来性にも満ち溢れていると考える。
夏休み期間中にはクラゲを認識するシステム構築を完璧にし、3つのアプローチ方法の項目1を2023年中には達成させたい。また、項目1において、クラゲとのリアルタイムでのセッション方法についても、どのような形で行うのか、クラゲらしさを出すにはどのような音をクラゲにマッピングすれば良いのかなど、ますますの課題解決と検討・改善の余地が必要になってくる。今学期行なった作品制作等々は、3つのアプローチ方法を達成するための準備期間にすぎない。一番痛感している技術面においても様々な先人たちから学び、磨きをかけていきたい。
