[CC Lab21春]Disc Jockeyの存在意義

Mitsuki Tokyo

はじめに

今学期、徳井研究室のX-DJチームでプロジェクトリーダーを務めさせていただいております、B4の小原 開です。今期は去年と変わらず新型コロナ
ウイルスの状況下の中で、DJのあり方やDJパフォーマンスが今後どのように変化していったらおもしろいか、そしてDJ文化の発展につながるかなどをチームで考え、今この状況において僕たちなりの答えを形にしました。
そして、今回進行したプロジェクトの内容はもちろんのこと、この記事を書く上でDJについて一人一人が少しでも考えていただくきっかけになっていただけると幸いです。

現状分析

現在、新型コロナウイルスの影響によってクラブ現場のほとんどが
深夜営業を行えない、あるいは公にしない状態で営業を行っている
といった事実が現状としてあります。(2021年7月28日現在)
そのような状況を踏まえて、最近ではレイブのような野外イベントを行う人たちが増えている傾向にあり、ある種クラブ現場離れのような
ムーブメントが起こり始めているように感じています。
個人的な意見として、クラブ現場を超えて野外イベントとなると、
DJとオーディエンスの対話といった基本的な概念にとどまることなく、
様々な要素が介入してくるため、DJ文化の発展のためにはしっかりと健全なプラットフォームで関係構築をしていく必要があると僕は思っています。以上のような考察を踏まえた上で今学期のプロジェクトは進行していきました。

DJのあり方について

今学期、チームとしてプロジェクトを進める上で新型コロナウイルスの
影響により、研究としてまた個人で実際のクラブ現場でDJプレイをあまりできないことが一番大きな障壁となりました。その中で最も考えさせられたことがあります。それは、

DJとオーディエンスの関係性

についてです。ここでいう関係性とはつまり、DJがトラックを介して
オーディエンスと対話し、オーディエンスが踊りなどによって
フィードバックを行うことの行為一連を定義しています。
今期は、何度も言うようにクラブ現場でのDJプレイがあまりできなかった現状を踏まえて、先ほど述べたようなDJとオーディエンスの関係性を
別空間で拡張することによって、DJの中でもある種、技術として捕らえられていたオーディエンスの動きや表情によって得ることのできるトラックの趣向であったり、現場にいるオーディエンスの人たちが普段どういった音ないしは音楽を好む傾向にあるのかといった部分を可視化し、今後のDJプレイに役立てることができればと考えました。

DJとオーディエンスの関係性イメージ図

プロジェクト概要

これまで話してきた内容をもとに、僕たちはVariable Flabor Mixといった
名前のオーディエンス体験型自動楽曲ミキシングの制作を行いました。
発端からお話しさせていただきますと、僕が個人的に好きなアーティストであるThe AvalanchesのSince I Left Youというアルバムの楽曲が約3,500曲以上のレコードなどからサンプリングされていることに感銘を受けており、僕自身も好きなトラックから自動的にサンプリング音源を引っ張り
出して、自分の趣向に基づいた楽曲制作をしてみたいと思い、
動き出しました。加えて、チームプロジェクト内において
Pythonパッケージにある音源素材分離ライブラリーのSpleeterを活用してDJ技術のサポートができないかといった僕の願望と、同じく今学期のプロジェクトにおいて中心となって活動していたB4の長谷川が楽曲制作に興味があり、音楽ストリーミングサービスとして世界的に有名なSpotifyが提供しているWeb APIであるSpotify APIから各個人それぞれがSpotify内でお気に入りに登録した楽曲を抜き取ったり、その楽曲における30秒間の
プレビュー視聴ができるプラットフォームを設計したため、これまでの
アイデアを合算してプロジェクトに落とし込みました。
当初、チームの進み出しとしてはやはりDJ技術のサポートを行うといった前提で先ほどご紹介したSpleeterなどを用いて研究をしようと考えていました。しかし昨今のコロナウイルスの現状により、僕たちが研究を通して解決すべき課題は、現状としてクラブ現場に向けたものではなく、
DJとはなんなのか、あるいはDJ文化の発展において必要な要素を細分化していくことであると考え、徳井研究室内で9月に展示発表があるため、
あえてクラブ現場とは違った体系で、DJといった立場とオーディエンスのインタラクションを可視化することを大きなコンセプトとしました。

Variable Flavor Mix

ここからは、今期全体を通して制作を行ったプロジェクトの紹介をしていこうと思います。まず、プロジェクト名に関してですが

様々な人の趣向に基づいた自動ミックス生成

といったことを軸として進べく、Variable Flavor Mixという名前にいたしました。特に今回は初めのアウトプット先として、先ほどもご紹介したように、研究室内での展示会があるため、ターゲットは主に同展示会に来場されたお客さんに向けたものとして考えました。また、DJ要素はどういった部分にあるかといった点についてですが、根本としてミックス作業については、僕たちが実演のような形で演奏するのか、あるいはお客さんにそれも体験してもらうのかといった部分にはあまり重きをおいていないです。
もちろん形にしていく上で慎重に考える必要があることは理解していますが、このプロジェクトで大事なことはやはりDJとオーディエンスにおけるインタラクションの可視化です。つまり、今までDJとオーディエンスの間であまり定義されてこなかった相互間の交流を楽曲の特徴量などを基にし、定量的なデータとしてフィードバックする試み自体がDJに対する
サポートにとどまることなくオーディエンスに対しても大きなアプローチになるのではないかと僕たちは考えています。

プロジェクト設計

・Spleeter/Open-Unmixにより、Spotify APIから所得した楽曲データを
Drum、Bass、Vocal、Otherの4パートに分離

・Loopextractor(Loop extraction with nonnegative tensor factorization)を
使用し音源分離された楽曲データから、各ループを検出

・Cycling'74 (Max)で4パート、そしてループ検出された楽曲データを用いて複数楽曲素材をミキシング

以上の流れで作業を行いました。

Spleeter/Open-Unmix

こちらに関しては、冒頭でご紹介したようにPythonパッケージ内にある
音源素材分離ライブラリーのことを指し、今回で言うとオーディエンスから所得したSpotifyの中にあるお気に入りに登録されたトラックから各５曲を抜き取り、その楽曲データを基にStem分けつまりDrumやBass、
VocalそしてOtherといったシンセサイザーなどに当たる音素材に分類する技術を用いました。これにより、オーディエンスから単純な楽曲データを抜き取るだけではミキシングが難しいといった課題を、各Stemに分類することで、複数楽曲からのミキシングが可能になりました。

Spleeter紹介動画

しかし、今回のプロジェクト進行では展示発表で作品を披露するといった目的で動いている中で、Spleeterでもある程度の音質は担保できるのですが、最終的に音素材をMaxに落とし込んで出力するとなった時に、僕たちが満足のいく音質を確保できなかったため、基本の音源分離構造は同様でより音質の良いとされている、音源分離ソフトウェアのOpen-Unmixを使用しました。これにより、課題であった音質が少し改善されましたためこちらの技術を使いプロジェクトを進行していきました。

Loopextractor

これまで音源を各Stemごとに分類する作業を行いましたが、ミキシングをする場合、フル尺の音素材を繋ぎ合わせて出力するでけでは楽曲としてのクオリティ且つパフォーマンスが低下するのではといった懸念を持ちました。そこで、Pythonライブラリーにあるmadmomから各音素材の小節がどこから始まるのかを推定するためにダウンビートを検出し、その検出された小節に基づいて音のパターン、つまりループを抽出しました。
これにより、決まったリズムパターンに則りながら、複数の音源素材を
ミキシングすることができました。

Cycling'74(Max)

そして、今までそれぞれの楽曲から音源分離とループの検出を行った素材を基に、オーディオを含め音楽関連やビジュアル表現の開発環境である
Cycling'74(Max)の中で音の出力操作を行いました。
本環境の中では、特にテンポの単位として用いられるBPMの調整、
さらにそれぞれの音素材を同時に出力した際、異なるビートテンポで再生されてしまうことによる違和感を取り除くためにビートマッチングの要素を構築することを軸として、取り組みました。

以上のプロセスからVariable Flavor Mixの制作を行いましたが、
より深い技術面の話などは、今期主に技術部分でサポートを行ってくれた、B4の長谷川のMediumをご参照ください。

プロジェクト設計イメージ図

制作物紹介

こちらが今回のプロジェクトで制作した、Variable Flavor Mixのデモ動画となります。本動画で使用させていただいた楽曲は僕と長谷川の中でSpotifyでお気に入りに登録したもの、合わせて4曲をStem分けしループ抽出を
行った上でMaxからミキシングし出力いたしました。
出力時の概要としては、事前にBPMは自分たちで固定し、各ループ音源を１つずつ再生する過程でビートマッチングが自動的に行われ各ループ音源の、頭となる拍が再生されていくといった仕組みになっています。

使用楽曲

1(Max内の左上)
アーティスト
Omoinotake

曲名
One Day

Stem
Drum

2(Max内の左下)
アーティスト
Marina Trench

曲名
Sunrise

Stem
Bass

3(Max内の右下)
アーティスト
Susumu Yokota

曲名
Song Of The Sleeping Forest

Stem
Vocal

4(Max内の右上)
アーティスト
Gescom

曲名
A2

Stem
Other(Synthesizer)

課題

まず、デモ動画を振り返ってみてもやはり、各ループのビートを完全に合わせることが非常に難しく、プロジェクト自体に面白みを感じるからこそどうにかこの現状を打破していきたいと思っています。
加えて、今回は曲選びなどを僕たちで恣意的に行うまでの段階で学期が
終わってしまったため、展示発表までに音のキーであったりSpotify APIの中で楽曲の特徴をアナライズすることができるため、そういった要素を
用いてミキシングの自動化に向けて動いていきたいです。
そして、あくまでもターゲットは展示発表に来るお客さん、
つまりオーディエンスであるため、本プロジェクトを通して音楽体験を
楽しんでもらえるようなインターフェースの構築にも注力していく必要があると考えています。
あらためて、本プロジェクトはDJ文化の発展につなげるためのものであるため、実際の展示発表から得たデータとオーディエンスから読み取れる
音楽体験の関係性といった部分にも注目して今後の取り組みに向けた
フィードバックとなることを望んでいます。

今後について

まず僕が、来学期の卒業プロジェクトやX-DJチームで活動していく上で
軸としたいことがあります。それは

対話方演奏形式の可視化

です。今期行っているプロジェクトは最初の方で話したように、
DJとオーディエンスの間であまり定義されてこなかった相互間の交流を楽曲の特徴量などを基にし、定量的なデータとしてフィードバックする取り組みといったものを、現状あまりクラブ現場で被験者を募って研究することが難しいです。なので展示発表といった規模でまずオーディエンスの
音楽に対する趣向が今回僕たちが提供する音楽体験と、どういった関係性があるのかといった部分の現状分析を行うことが次につながる要素であると考えています。その上で今までクラブ現場においてのDJとオーディエンスの関係性についてなどお話しさせていただきましたが、来期はその部分をより深掘りDJに対しての楽曲推奨の実装を行っていきたいです。

DJ Track Recommendation

まず、前提として僕はこのプロジェクトをDJなどのライブ配信に向けたものとして提案していきたいです。僕個人的にDJライブ配信(DOMMUNE、Contact etc...)を見ることが好きで定期的に観るのですが、
やはり、どこをいっても一方通行の関係性であるといった部分と
コロナウイルスの状況下でクラブ営業もあまりできない状況などを加味した中で、僕はこのような形式に課題意識を持ちました。
ただ最近ではバーチャル渋谷のように仮想空間上で、DJとオーディエンスが、新たな形で関わり合えるようなプラットフォームが設計されている
状況を見て、この機会に僕も、よりそういった関係性を模索していきたいといった願望から本プロジェクトに取り組んでいきたいと考えています。
現在、モバイル端末でオーディエンスがDJに対して曲のリクエストを送るアプリケーション（DJUKEBOX）など関連研究はありますが、そもそもDJ中にモバイル端末を見てフィードバックを得ようと思っているDJの方々が、どれくらいいるかといった部分に疑問があり、且つ僕が好きな
ディープテクノや、ハードテクノといったジャンルでそれを推奨しようとなるとなかなか実現が難しいといったところはもうすでに懸念しています。その上で、今回Spotify APIなどを使って音楽データの特徴量などを洗い出すことができたので、オーディエンスが求めている曲とDJ側にある曲の相関などを出してフィードバックする形などが、一番現実的かと考えています。また、もっと簡略化して特徴的にベースの音が好きなのかそれともキックが多い方がいいのかだけでも、十分なフィードバックになると考えているので、その点で言えばインターフェース部分をどういった形にしていくかなどといったところにも、拘っていきたいです。
最後となりますが、去年の秋学期から徳井研究室に参加して今学期でおおよそ１年を迎えました。正直、実装力などに関して言えばまだまだ周りの力を借りることが多いため、そういった技術面のスキルアップといったところも今後の目標としてあります。ただ、新型コロナウイルスの影響によってDJ活動もままならない状況の中でも、こうしてチームとして社会にアプローチできる機会は何にも変えがたいとても貴重な機会であると考えています。正直、周りでこの状況の中でもバリバリDJ活動をしていて羨ましいなと思う自分がいつつも、今後の社会そしてDJのために自分の価値観の中でできることは何なのかといったところを日々考えつつ、自分の尺度でひとまずは答えを出していくことが大事なのではないかと今は考えています。来期で大学生活は終わりますが、その上で一緒に活動してくれる仲間や先生を大切にしつつこれからも色々と挑戦していきたいです。
来学期もさらなるアップデート、期待していてください。