[データドリブンアート2023秋]「Convolution」 by Taito Fushimi, Taisho Nishihara

1、概要

本作品は、脳内に残る「残響」を表現するというパフォーマンス作品である。

残響とは、音源が振動をやめたあとも、天井や壁などからの反射が繰り返されて、音が引き続き聞こえる現象であるという意味と、コンサートやライブパフォーマンスの後の感傷的余韻という意味を持つ。

後者の意味である残響を、VIE Streamerで計測した脳波をableton liveのConvolution Reverb Pro というeffectで音にし、ライブパフォーマンスを行なった。

2,コンセプト考案

私は主にコンセプトの考案をおこなった。

作品の方針としては大きく以下の3つがあった。

①お笑いを見ている時の脳の可視化

②脳波は心象は乖離しているのではないか？

③残響を表現するライブパフォーマンス

①に関しては、照岡さんのSSVEPを用いれば人の好みと、それが本当か嘘かどうかわかる、Brain GPTを用いれば何考えてるかわかるという話から着想を得た。お笑いを見ているときに人は声を出して笑うが、それは直接脳が刺激されたことによって笑っているのか、それとも単に慣習として笑っているのか、面白いと我々が本当に思っているのか？ウケている時と滑っているときの脳波の違いを調べるという実験的作品を作ろうとした。作品としては、西原自身がお笑いを行いそれを藤井先生や真鍋先生に付けてもらい、そのOSCデータをビジュアライズするものとする予定だったが没案となった。（後に脇田先生の「視覚メディア表現」にて、これに近い作品を最終成果物として発表した。）

②に関しては、主にカントの「純粋理性批判」から着想を得たコンセプトである。

我々は五感を精神に送り込んで思考する。つまり、思考とは五感によって支配されているものであり、五感に対する反応にすぎない。つまり、私たちは五感を超越した概念を完全に理解することは不可能である。

これらは総じて、「気持ち」や「魂」の存在を俯瞰的に批判している。ここから、脳波は単なる信号であり、それが心象につながっているのか？という脳波計測、人間に波と信号が与える影響の限界を考察するという批判的なコンセプトであった。しかし、それらを具体的な作品に結びつけることが難しく没案になった。

③が最終的に採用された案である。先に説明した2つの残響の意味の後者、私たちの心に残る余韻について私はヒュームの「人性論」から考えた。

これによると、見たもの聞いたものの感覚は、時間が経つにつれて勢いと生気を失って観念になる。観念は元の生気をある程度保った「記憶」やそれすら失った「想像」という形で私たちの脳に現れる。快楽や苦痛の観念は、自身の神経を通して反省される。印象、観念、反省を彷徨うことが残響の正体ではないか？私たちはコンサートの感覚が新鮮さを失うにつれ、記憶や想像として脳内で反省し続けているのではないか？

これらの捉えることができない概念を残響ととらえ、「聞く」行為を通して探る方針で考え、実装へと移った。

3、実装

実装は伏見が主に担当した。以下、伏見の説明をもとにまとめたものである。稚拙かつ専門的ではないため詳しくは伏見の記事を見ていただきたい。

パフォーマンス中のVIE Streamerの脳データをOSCでConvolution Reverb ProのWidthとGainのパラメーターにマッピングした。会話や生活音をIR Dataとして用い、インパルスとなる音によって、現実ではあり得ない空間を音で表現する。β波、α波、θ波、δ波、γ波の比率に連動した音声をIR Dataを用いてマッピングした。

参考

①

笑いと脳波の関係性

https://www.pref.nara.jp/secure/256795/1_nara_youshi_nouha.pdf

ウェアラブル脳波計の開発とその応用

https://www.jipdec.or.jp/library/report/20180828_01.html

認知症に対してお笑いや童謡による感性刺激の効果を確認

https://www.edge.toppan.com/news/2019/0905.html

②

「実践理性批判」 I.カント/岩波文庫

③

「人性論」 ヒューム/中公クラシックス

＃Data-driven Art 2023