[x-Music Lab 21春] 人間と生物の音楽コミュニケーション 後編

慶應義塾大学環境情報学部3年 成瀬陽太(Santa Naruse)

この記事は、人間と生物の音楽コミュニケーションの後編なので前編からご覧いただきたい。

< 前編

金魚と鑑賞者のインタラクションの設計

金魚を誘引する音を人間がどのような行動をした場合にどのように出すか、つまり人間と魚のインタラクションを設計する。現時点では、スピーカーを水槽の縁に等間隔に3個設置する。金魚の位置はYOLOv5を用いて行い、その位置を鑑賞者にムービングライトの光によって示す。人間が光に近づくと250hz以下の低い周波数の音を金魚の位置から一番遠い水中スピーカーから鳴らし、そのスピーカーに近づく魚の動きによって鑑賞者が聴く音を生成するというものを想定している。

このように、金魚の位置を示した光を鑑賞者が追うことで金魚が人間から逃げるような動きをすることで、追う・逃げるのインタラクションが構築される。

金魚の位置とムービングライトの同期

金魚を誘引する音と生成する音の設計

金魚は250hz以下の低い周波数の音に誘引される傾向があるため、金魚が鑑賞者に近づくにつれ低音部分を強調することで、鑑賞者のトリガーに金魚が音に誘引されていることを聴覚からわかりやすくしている。

現段階でのデモ音源と音源の時間軸と金魚の状態を示した表

そして，実際に展示会場で鑑賞者が聴く音の設計だが、私たちが金魚の動きをイメージして、金魚が早く動いている時、ゆっくり動いている時、人間に近づいている時などの行動のパターンごとに音を作り、それを組み合わせたデモ音源を制作した。

また、金魚が音に強く誘引されている場合は泳ぐ速度がより大きくなるため、速度を音のテンポ、モジュレーション、Cut offの値などに同期させることで生成された音から金魚の動きを感じることができるようにしていく。

上記のデモ音源を使った現時点でのデモ動画が以下である。

現時点でのデモ動画

まとめ

以上のように、今学期、私は、前学期から制作を行っていた作品のインタラクションのメソッドや それを実現するためのシステムの実装を行なった。

この作品は、2021年8月31日, 9月1日に大桟橋ホールにて開催されるx-Music Lab Synthesize展にて展示されるので是非ご覧ください。

展示情報は、x-Music LabのTwitterアカウント、Mediumにて随時公開していく予定です。