[x-Music Lab 21秋] Sonic Aquarium -Resonance- 異種間のコミュニケーションを用いた演奏体験

Author

慶應義塾大学環境情報学部3年 成瀬 陽太(Santa Naruse)

Project Description

Sonic Aquarium -Resonance- は，魚と人間との音を使ったコミュニケーションを行うパフォーマンスです．

魚の鑑賞方法は視覚に限定されていることや，鑑賞する際に水槽を介する場合多く，魚の動きを一方的に眺めることが多いです．そこで私たちは，人間が魚に介入し視覚だけではなく聴覚でも鑑賞できる仕組みを作り，それを使って音楽演奏をしたいと考えました．

このプロジェクトは，魚類の中でも金魚を起用します．金魚は，内耳と側線という器官が発達しており，高い聴覚能力を持っています[1][2]．私たちはこの聴覚能力を応用してどのような音が金魚を刺激させるのかを検証・選定し，その音を使ったコミュニケーションを設計します．

金魚の水槽中の位置をパフォーマンス空間にレーザーを使って示し，それをパフォーマーが追いかけて近づくと，水槽中の水中スピーカーから金魚を刺激する音が鳴り，金魚が刺激されるます．パフォーマンス空間に配置されたスピーカーから音が刺激された金魚の動きに応じて鳴ります．このように金魚とパフォーマーは追う・逃げるというコミュニケーションから生成されるサウンドを変化させることで演奏となります．

演奏の音は金魚の位置，どの程度刺激されたか，そしてパフォーマーとの距離によって変化します． 金魚の位置はパフォーマンス空間のサラウンド環境の定位に同期していて，これにより金魚の動きを音で感じやすくなる． 刺激の程度が大きいほどリズムは速くなり，金魚とパフォーマーの距離が小さいほど音量は大きく，音色は様々なエフェクトが作用し，音が重ねられ豊かになっていきます。そのため，パフォーマーの金魚を追うタイミング，歩く速さがパフォーマンスの肝となります．

私達は，Synthesize: x-Music Exhibitionにてインタラクティブに体験できる作品かつパフォーマンスとしてSonic Aquarium -Resonance-を展示しました．その時の展示形態と変更して，制作者が体験・パフォーマンスを行ったビデオドキュメンテーションを記載します．

• [1]Suga, T. (2009). Basic study for fish auditory brainstem response. Bulletin of Fisheries Research Agency (Japan).
• [2]Shinozuka, K., Ono, H., & Watanabe, S. (2013). Reinforcing and discriminative stimulus properties of music in goldfish. Behavioural Processes, 99, 26–33. https://doi.org/https://doi.org/10.1016/j.beproc.2013.06.009

Role

私は，Sonic Aquarium -Resonance-を制作するにあたり，金魚のディテクションシステム，人間のディテクションシステム，前述したシステムから得られる数値からAbleton Liveに投げるためのパラメータを計算するシステム，レーザーの制御を行うシステムの実装を担当しました．

system UI

金魚/人間のディテクションシステム

TouchDesignerで背景差分法を用いて位置を検出しています．

数値処理システム

ディテクションシステムから得られた数値から，金魚の速度，進行方向，人間との距離を処理しています．そしてそのパラメータをAbleton Liveに送信しています．

レーザー制御システム

金魚の位置を人間のパフォーマンス空間に表示するためのレーザーの制御をTouchDesignerで行っています．

laser

反省/まとめ

Sonic Aquarium -Resonance-の制作を通して，自分は作品制作の中でもテクニカルな部分の知識と経験が蓄積されたと感じています．また共同制作をしていく機会があれば力を発揮していきたいと思います．

また，反省としては，技術選定で，YOLOv5などの深層学習技術ではなく背景差分法を選択したことが挙げられます．マシンスペックの問題などがあり深層学習技術の採用を見送っていたのですが，展示空間や撮影空間での検出に背景差分法では苦労したので次回以降はもっと入念に準備を行いたいと思います．

Requirements

List of Equipment

• Goldfish
• Water
• Tank (Aquarium)
• Underwater speaker (boco docodemoSPEAKER)
• Speaker*4 (YAMAHA MSP3)
• Audio Interface (Komplate Audio 6 MK1)
• Laser (RGB210)
• Camera*2 (SONY α6600)
• Cables
• Razer Blade
• MacBook Pro
• MacBook Air

List of Software

• Ableton Live
• Max for Live
• TouchDesigner

Space Requirement

• 5.4(W)*5.4(D)*5(H)m
• Space with adjustable brightness

Performer

• Author