多感覚の関連性（感覚間協応）を活用した楽器練習支援システムの提案と評価についての研究をIUI 2023で発表します
オムロン サイニックエックス（OSX）シニアリサーチャーの吉田です。
OSXと東京大学（葛岡・雨宮・鳴海研究室と猿渡・小山研究室）の共同研究の成果である、多感覚の関連性（感覚間協応）を利用した楽器練習支援システムの提案と評価に関する次の論文が、国際会議 The 28th Annual Conference on Intelligent User Interfaces (IUI 2023)に採択されました。
Kota Arai, Yutaro Hirao, Takuji Narumi, Tomohiko Nakamura, Shinnosuke Takamichi, and Shigeo Yoshida. 2023. TimToShape: Supporting Practice of Musical Instruments by Visualizing Timbre with 2D Shapes based on Crossmodal Correspondences. In 28th International Conference on Intelligent User Interfaces (IUI ’23), March 27–31, 2023, Sydney, NSW, Australia. ACM, New York, NY, USA, 16 pages. https://doi.org/10.1145/3581641.3584053
本研究では、人々が感覚的に持つ「音色と形状の対応関係」をもとに音色を2次元形状に表現する手法を提案しています。以下に背景や提案、手法、評価について簡単に紹介します。詳しい内容は論文を参照してください。
背景と提案
楽器演奏者は、巧みな音色の変化によって聴衆に感情や情報を伝えることができます。一方で、音色は高次元で感性的な概念であるため、楽器練習者が望みの音色を演奏するために必要な技能を身につけることに難しさがあります。
本研究では、音色と視覚的な形状の直観的な対応関係をもとに、音色を視覚的に捉えられるように変換することで、音色の演奏に必要な技術の習得を支援するシステムを提案しました。
こうしたシステムを提案する上で我々が注目したのは、異なる感覚間の関連性である「感覚間協応」です。
感覚間協応
「明るい声」や「暗い声」というように、視覚や聴覚などの異なる感覚において、人間は自然な結びつきを感じることがあります。このような、異なる感覚の間の非恣意的な連想関係のことを「感覚間協応」と呼びます。
感覚間協応の有名な例として「Bouba-Kiki」が知られています。以下の２つの図形に対して「名前をつけるとしたら、どちらがブーバ（Bouba）で、どちらがキキ（Kiki）か？」という質問をすると、多くの人は左がキキで右がブーバであると回答します。
このような多感覚の結びつきはいろいろあり、Bouba-Kikiのような形状と音や、先に述べたような明るさと音、はたまた形状と味・匂いのような結びつきが報告されています。
本研究では、音色の直観的な可視化を行う上で「音色と形状」の感覚間協応に注目しました。一方で、楽器を演奏することによって生じる任意の音色に対して、どのような形状をフィードバックするべきかは自明ではありません。
感覚間協応に基づき任意の音色を2次元形状に変換する手法
本研究では、事前に楽器演奏者が回答したいくつかの音色と形状の対応関係から、現在の音色に対応する2次元形状をリアルタイムに生成・可視化するシステムを構築しました。
はじめに、先行研究を参考にしたVAE（variational autoencoder）を用いた教師なし学習によって、音色を潜在空間にエンコードします。そして、楽器演奏者が事前に回答したいくつかの音色と形状の対応関係を線形補間して、任意の音色に対する形状を推定します。この形状をデコードして楽器演奏者に対してリアルタイムに可視化します。
下記は実際に構築したシステムを利用しているシーンです。このように、演奏音に対してリアルタイムに形状を提示できているのがわかると思います。
ユーザ実験による効果検証
提案システムの有効性を検証するために、2つのユーザ実験を実施しました。
一つ目の実験では、クラウドソーシング（n=75）を用いて、任意のバイオリンの音色に対応していると感じられる形状を提案システムが生成できるか検証しました。結果として、提案システムが生成した形状は、ランダムに生成された形状よりも、音色に対応すると感じられる可能性が高いことが分かりました。
二つ目の実験では、提案システムが生成する形状の視覚フィードバックがバイオリンの練習に与える影響を、六名のヴァイオリン奏者を対象に調査しました。その結果、視覚的なわかりやすさや、音色と視覚フィードバックの関係の把握のしやすさ、視覚フィードバックがなくなった後でも思い出しやすいという点で提案システムが好評でした。
インターン募集
OSXでは、実社会で人々と協調・共存して活動する機械の実現を目指し、自然言語処理や機械学習、コンピュータビジョン、ロボティクス、ヒューマン・コンピュータインタラクション（HCI）に関する基礎研究を継続していきます。弊社でのインターシップにご興味のある方は、インターン募集ページ（通年）をご確認ください。皆様のご応募をお待ちしています。
