[CCLab 21秋]If you want to conquer fear, don’t sit and think about it. Stand up and mix the music.

Published in

Computational Creativity Lab at Keio SFC

Feb 7, 2022

もし不安を克服したいのなら、座って思いに耽るな。立ち上がりを音楽をミックスしなさい。

慶應義塾大学大学院政策・メディア研究科修士課程1年のRyo Simon[Nishikado]です。
今回は私が所属しているComputational Creativity Lab(以下CCLab)の2021年秋学期での活動についてまとめたものを公開したいと思います。
注.本投稿はCCLabの最終課題を兼ねた内容になっています。また、一部内容は国際会議に提出中のため、概要のみとなります。あらかじめご了承ください。

・CCLab Exhibition 2021
・今学期行ったこと
・今後の予定

CCLab Exhibition 2021

2021/9/23~27の表参道 TIERS GALLERYにて徳井研究室の展覧会「Alternative Dimension」を開催しました。

徳井研が発足して約三年、恵比寿Liquidroom上のKataにてx-Music Lab(藤井研究会)との合同の展覧会を開催してからの二年ぶりの展示会となり、なかなかアウトプットの機会が少なくなった今、展示に出す作品を作るモチベーションはとても高かったです。そして、本展覧会ではAdaptive Yantra~Yaoyorozu~とVariable Flavor Remixの2作品を展示させていただきました。

Adaptive Yantra~Yaoyorozu~

本作品は前学期の活動まとめの番外編にて取り上げさせていただいたものを展示用にアップデートしたものです。会場の制約上心拍数と生成モデルの紐付けができなかったため、時間経過による自動生成のモードへと切り替えたバージョンでの展示となりました。真ん中に大きく写るヤントラ以外はそれまでに生成したヤントラを、中心にはリアルタイムに生成され手モーフィングを行うヤントラを配置しました。

実際に大きなディスプレイに写しているわけではなく、窓の後ろにトレーシングペーパーを貼り付けてプロジェクターに映し出すことできれいに写し出すことができました。

Variable Flavor Remix

本作品はQRを読み込んで個人のSpotifyのお気に入りリストを提供してもらい、そのうち一つの曲を選び音源分離を行いMIDIコントローラーを用いて簡単にマッシュアップ体験を行える作品となっております。

詳しくはKai Obara君とRyo Hasegawa君の記事で記載してありますので、是非そちらをご覧になってください。

本作品においてはシステムからの音量や分離後のパートのトラックのON/OFF情報、後ろのバックのオーディオリアクティブのビジュアライズを行いました。

今学期行ったこと

前学期のまとめである[CCLab 21春]DJが司る感覚とは?で述べさせていただいた通り、大学院では”機械学習と触覚フィードバッグを用いたDJツールの開発”という題で研究を続けております。

前学期はDJとHCIの文脈におけるつながりや触覚フィードバックによる演奏熟達支援に関する研究のサーベイを行い、実際にクラブでDJを行う人たちへのアンケートを行いました。また、アンケートで集まった回答や意見をベースにNintendo SwitchのコントローラーであるJoyConを用いたプロトタイピングを行いました。

そして夏休みと展示会を終え、今学期はデバイスのプロトタイピングのアップデートとともに、ハンドトラッキングを用いたDJミキサーパラメーターの操作推定のモデルを制作に注力しました。

具体的な内容は現在国際会議に提出中のため控えさせていただきます。

春学期に申請した研究助成金が無事に採択されたことにより、春学期に比べて購入/使用できるデバイスが格段に増え、研究もスムーズに進めることができるかと思ったのも束の間。世界的半導体不足の影響により当初購入を予定していた機材等が購入できないという、自分の意思ではどうにも対処できない問題に遭遇し、研究テーマは変わらなかったものの軌道修正を余儀なくされました。しかし、自分がある程度満足いく形のプロトタイピングやシステムを制作することができ、また国際会議に提出できるところまでまとめることができたので良かったと感じます。改めて何度も添削しコメントしていただいた徳井さんに改めて感謝申し上げます。

それに加え、同じ修士課程のYuga Kobayashiくんのお声がけもあり、実際にクラブに赴き、制作したプロトタイプをDJさんに使用してもらいをレビューをいただくことができました。

コロナの波の浮き沈みが激しい中で、実際に現場に赴き自分が作ったもののレビューをいただけるのはモチベーションにもなります。また、デバイスのセッティングの際に、音響さんに興味を持っていただき、激励のお言葉をいただけたのは自身の研究に対してやりがいを感じました。

今後の予定

今学期を終えた感想ですが、立ち止まって何かを考えるよりも割と継続して手を動かして何かを生み出す時間の方が遥かに多かったように感じます。春学期にさまざまなリサーチを重ねるのに時間をかけた反面、秋学期はそのリサーチを形あるものにしていく。どっちかに偏ってしまい崩れるよりは、バランス良く自身が携わるプロジェクトに貢献/進捗を産むことができたと考えます。

来年は修士2年目という折り返し地点になるので、体調やメンタルに気をつけながら自身の研究に更なるアップデートを加えられるようになればいいなと思います。