[CCLab21秋] TuneMasher — 音源分離、音楽ストリーミングサービスを利用した、マッシュアップ作成Webアプリケーションの実装
この記事はComputational Creativity Labの2021年度秋学期最終レポートを兼ねています。
目次
- はじめに
2. XDJプロジェクト
- Variable Flavor Remix -展示-
- Variable Flavor Remix -パフォーマンス-
3. 個人- 卒業制作 TuneMasher
4. 終わりに
はじめに
慶應義塾大学Computatinal Creativity Lab(徳井研究会)以後CCLab、に所属して２年目となりついに今年度で卒業となりました。今学期は前半にXDJプロジェクトのメンバーと展示にむけた準備をし、後半は自身の卒業論文・制作に取り組んだ学期となりました。
本記事ではXDJプロジェクトでの取り組み、卒業制作のそれぞれについて紹介していきます。
XDJプロジェクト
XDJプロジェクトでは主に9/23–27に表参道のTIERS GALLERYで行われたCCLabとしての展示会にむけた制作を進めた学期となりました。
先学期に制作を始めたVariable Flavor RemixをXDJプロジェクトとして展示し、そのあとはそれをパフォーマンスの形に移行するという流れとなりました。。
前学期の活動の詳細はこちらにまとめてあります。
Variable Flavor Remix -展示-
Variable Flavor Remixは自作のWebアプリケーションを通して来客者のSpotify上のお気に入り楽曲を取得。取得した楽曲の視聴音源から自動で楽器ごとに分離されたループ音源を作成し、それらをトラックパッドで自由に再生できるというものになっています。ほかの来客者のお気に入り楽曲と自分の楽曲をその場でマッシュアップできる体験となっています。
展示では来客者の皆さんから多数のポジティブな反応を得られることができ手応えを感じることができました。また、このシステムを使用したパフォーマンスの可能性もあるということをも感じることができました。その一方で普段から音楽にあまり触れていない人も参加する展示ということもあり、そもそもマッシュアップを知らない方々にはなかなか魅力が伝わらないことも感じることができました。
Variable Flavor Remix -パフォーマンス-
展示終了後には展示中に感じたパフォーマンスの可能性を探るために、システムをパフォーマンスように変更し、デモパフォーマンスを行いました。
デモパフォーマンスでは予め私たちが登録した30曲から作成されたループ音源を用いて20分ほど演奏を行いました。ループ音源をキーごとにフォルダ分けをするなど、演奏のクオリティを高める工夫なども実装しました。
パフォーマンスを行うまでどこまでパフォーマンスになるか不安でしが、実際に行ってみるとそれなりに形になることがわかりました。ループ音源のみを使用していることもあり、展開をつけることが難しいのが課題でしたが、他のサンプル音源など使用することで解決可能かもしれません。今回はデモを行うまでに留まりましたが、大きな可能性を感じることができました。
個人 — 卒業制作 TuneMasher
自身の卒業制作はここまでXDJプロジェクトで作ってきたものの延長線上にあるものとなりました。具体的にはVariable Flavor Remixを完全なWebアプリケーションに落とし込んだものでTuneMasher と名付けました。
展示を通して他人の楽曲とのマッシュアップも興味深いと感じる一方自分の知ってる楽曲だけ好きなようにマッシュアップする体験もそれはそれで面白いのではないかと感じたのが作成の大きな理由です。
TuneMasherとは
TuneMasherとはSpotify上の試聴音源からループ音源を作成し、それを重ね合わせて再生できるWebアプリケーションでユーザが普段聴いている楽曲同士を気軽にマッシュアップできる体験を提供します。
Loopextractor(https://github.com/jblsmith/loopextractor)を用いることでループに最適な箇所を試聴音源から抜き出し、更に音源分離ライブラリのSpleeter(https://github.com/deezer/spleeter)を使用することで各楽器ごとのループ音源を作成します。
作成目的
本作品には大きく２つの目的があります。
- 音楽パフォーマンスの新しい形の提案
- DJやリミックス、DTM文化への興味の誘発
音楽パフォーマンスの新しい形の提案
これまでVariable Flavor Remixのパフォーマンスの取り組みなどをも通して、機械学習を用いた音源分離ライブラリやループ抽出モジュールの可能性を感じることができました。現在DJパフォーマンスでは既存の２曲をそのままの状態で混ぜ合わせることがほとんどです。しかし、音源分離技術の登場により楽曲を楽器ごとというより細分化された状態で使用することができるようになります。これのおかげよりオリジナル性の高いミックスが可能になったり既存のDJや音楽パフォーマンスの形にとらわれない新しい形の音楽パフォーマンスが出てくると感じています。TuneMasherは音源分離などの新しい技術を紹介し、新しいパフォーマンスへの足掛かりになることを目的に制作しました。
DJやリミックス、DTM文化への興味の誘発
TuneMasherはDJやリミックス文化に普段から触れていないユーザにとっても、こうした文化に興味を持つきっかけになるとも考えています。特に日本ではDJやマッシュアップなどへの理解度は低いと言わざるを得ません。それはクラブ文化の普及の低さが関与しているとも考えられます。TuneMasherを通して普段ユーザが聞いている楽曲をマッシュアップして遊ぶことでマッシュアップやリミックス、DTMがどのようなプロセスを経ているのかを体験してもらうことができると考えています。それを通しこうした文化ひいてはクラブ文化への興味の誘発を行えればと思います。
システム
考察・今後の展望
TuneMasherにはこれまでXDJプロジェクトで行ってきたことを自分の形でまとめることができました。普段あまり音楽に関わっていない同僚に触ってもらったところ、「面白い！」や「この曲のドラムってこんなのなのか」などの感想をもらい、楽曲や作曲に対する理解や興味を誘発できるこ手応えを感じました。
今後この作品が同じような研究者や音楽パフォーマーに共有され新しい音楽パフォーマンスが作らればと考えています。しかし、Webアプリケーションの維持の難しさも感じています。コストや技術力が必要になることを今回を身をもって感じることができました。
またSpotify APIの使用規約にひっかるような気がしていることもあり、大々的に共有することが難しいことも感じています。
しかし、どのような形になってもしっかりと後に残す努力をしていきたいと思います。
終わりに
TuneMasherは自分が大学に入り学んだWebプログラミングの技術、CCLabでの音楽パフォーマンスの研究の両方を組み込んだ集大成となりました。学生最後の学期として自分なりに良い終わりを飾れたのではないかと考えています。
XDJプロジェクトのメンバーを含む研究室の皆さんには大変感謝しています。特に、今まで自由にやりたいことをやらせてくれた徳井先生には 一番の感謝をお伝えします。CCLabで培ったモノづくりの心は就職活動においても1番の軸となり、これからもモノづくりに励んでいきたいと思います。
大変お世話になりました！
