脳波の作曲機をつくってみてわかったこと。
言葉は人類最大の発明であるが、表現に限界がある。
これが最近の関心事。
特に感情という、主観的な情報は過去にも未来においても、極めて定義が難しい。
僕の「懐かしい」と、あなたの「懐かしい」は違う感覚かもしれない。
原体験
とある日、川辺でいつもと変わらない夕日を見ていて、なんとも言い表しにくい気持ちになった。
哀愁という言葉では片付けられず、なんと言っていいかわからない。
その時、なんとなく頭に音楽が流れていた感覚がある。
でもそれを鼻歌にしたり、楽譜に起こして見たりもできない。
音階があるのかどうかもわからないけど、何かBGMが自分の脳内で流れている。そんな経験があった。
これが、言葉では表しきれない自己の感情を、音楽というアプローチで表現したいなと思っていた原体験だった。
出会いとキックオフ
またとある日、岩田渉さんという音楽家がKonelに現れて、ちょうど脳波を趣味で探り始めたテクニカルディレクター荻野くんがたまたま持っていた脳波計で遊び始めた。岩田さんは、何やら脳波で作曲するという実験をはじめた。
しばらく横目で見ていたが、岩田さんを中心に様々なクリエイターが集まってきて、とても興味深い制作が進行していき、Konelとしても積極的にサポートするようになった。
そうして、エンジニア、サウンドクリエイター、映像作家など様々なクリエイターの合作で完成したインタラクティブアートが『NO-ON 脳波による内発音楽表現』だ。
NO-ONの仕組み
椅子に座り、12個の映像作品の中から直感的に気になるものを選んでスタートすると映像が流れる。
映像には基礎となるサウンドセット（音色）を割り当てており、視覚刺激により影響を受けた脳波で作曲をする。
映像とサウンドセットが１つの楽器となり、脳波で作曲と同時に演奏しているような状態だ。
演奏者は自分の楽曲を耳から聞いて、また影響を受ける。それによって脳波の状態が変わり、もともと見ていた映像作品にエフェクトがかかっていく。
スピードが変わったり、逆再生されたり、色が変わったり、ゆがんだり、リアルタイムに脳波で曲と映像をドライブし、オリジナルの映像作品が生成される。
脳波と音の連動
細かいアルゴリズムでデザインしているため、詳細までは踏み込まないが、今回は６種の脳波を使って音に割り当てている。（Low α / High α / Low β / High β / Low Γ / High Γ）
また、脳波の状態に大きく紐づく「瞑想」「集中」も重要な指標として扱っている。
瞑想は音階に影響を与え、集中は効果音を発生させる仕組みとなっている。
演奏者は、自分の「瞑想度」「集中度」を左右のスクリーンの球体の動きで把握でき、自分の状態と向き合いながら作曲・演奏していく。
アートとしての問い
この作品は「自分の感情と音楽を通して向き合い、人と共有するとどんな気分なのか」を実験するための取り組みであった。
そして、これをMUTEK JPで一般公開したところ、予想以上に体験者のWOWが大きかったことに驚いた。
正直な予測としては、もっと懐疑的な感想が多いと見立てていた。（コレって本当に人によって違うの？という類）
しかし椅子に座った多くの演奏者は、あまり細かいことを考えずに、自分の脳内を覘きこめた感覚を純粋に楽しんでいた。
また、待機用に用意した椅子に座っていた人々は、気づけばオーディエンスになっていて、そこで一つのライブが行われている状態が生まれた。
これはやってみてわかったこであり、とても面白かった。
アーティストとの関係性
NO-ONは箱であり、プラットフォームである。
映像作家が実験的に作った作品をNO-ONに適用し、イメージに合う音楽家にサウンドセットをつくる依頼をかけて、コラボレーションが生まれる。
音楽家から映像作家を求めるアプローチも、プログラマに依頼をかける方向もありだ。
作家同士が交差する装置になればと思っている。
場所にとらわれずライブを。
NO-ONはとてもポータビリティの高いハード設計をしている。
プロジェクター、スピーカー、制御用PC、椅子以外はパイプと布だけ。車２台でどこへでも持ち運べる。
今後は野外や屋上や地下など、いろんな場所で自然現象から影響をうけながら作曲演奏をするライブ体験を模索したい。
また、同時に何人もの脳波を集めて、一つの作品をインタラクションの中で作っていくことも実践して行きたい。
5Gのような、ごつい通信環境が必要になるであろうが、世界中を脳波でつなげて音を作ったら、とても新しい体験が生まれるはずだ。
そして、今後は味覚や嗅覚、触覚との循環も視野に入れて行く。
拡張のアイディアがあれば、ぜひご意見いただきたい。
Contact
取材・コラボレーションのご相談はこちらまで。
no-on@konel.jp
オフィシャルサイト：http://no-on.jp/
開発関係者
企画・制作
Konel + objet α
Chief Producer ：出村光世 (Konel)
Music Direction / System Designer ：岩田渉（objet α / Konel）
Creative Director ：宮田大 (Konel)
Technical Director ：荻野靖洋 (Konel)
Creative Technologist ：Kenji Jones (Konel)
Producer ：佐藤達哉 (Konel)
技術協力
Video Director/VFX Designer ：上平康太(PLANEON)
Generative Designer ：中村洋暢
Music/System Designer：山田章雅
Engineer ： Trent Brooks
映像作家
平井 秀次
上田 昌輝
古田晃司
磯井 玲志
嶺隼樹
協力会社
株式会社ニューロスカイ
フォステクスカンパニー
キヤノンマーケティングジャパン株式会社
Ableton 株式会社
株式会社シンタックスジャパン
企画から開発に携わった全ての方々に、最大限の感謝を。
