【データドリブンアート2023秋】 脳波を用いたテキスト表現デモ作成
今回、SFCのデータドリブンアート2023秋を受講しました。 記事内容はその際制作した作品の紹介、及び授業内容についての感想になります。
step1. 案出し
今回、作品を制作するにあたっていくつか案出しを行いました。アーカイブもかねて、以下にその案を記します。
- A案 : 街データ
visual いつも歩いてる街の縮尺が自分の脳波によって変わったら面白いのでは - B案 : タイポ(visual)
visual 脳波によって部首が変わる？ 文字要素のアスキーアートやりたいけど脳波との関連とデータをどう使うか - C案 : タイポ(context)
visiual 日本語の詩が脳波に応じて生成される。 文章の行間やフォントの種類、サイズなどが脳波に応じて変化する - D案 : タイポ(文字遊び)
visual 脳波のパターンに応じて一文字ずつひらがなを出力(画面に表示)し、それが意味を持つ単語の並びになったら一度ハイライト。最終的にそれらの単語を文章としてアウトプットする映像作品
concept 文脈を排除した詩的な文章が生成されることを期待。真に感情を伝えた形と捉えられるかもしれないが、言葉に出力している時点でそれはできているのか不明であるし、脳波を変換するメカニズムはこちらで設定しているため、偽物の空虚な文章の羅列でしかない。真に感情を伝えることなど言語という枠組みの中では不可能というメッセージでもある。 - E案 : モーフ表現
visual 脳波に応じて様々な景色、タイポがランダムに生成される。文脈が乏しいのと見ていて飽きそうなのが難点
様々なアイディアを構想しましたが、僕はもともとや「文字」の機能的な面はもちろん、「タイポグラフィ」の造形的な面も含め言語についてとても関心がある人間で、今回の作品制作でもそれらに基づいたものを制作したいと考えていました。なのでD案の文字遊びの作品案を採用し、制作を進めることを決定しました。もともと自分の専攻分野だったのでコンセプトも設定しやすく、そこも決め手になりました。
自分の言語に対する考え方を以下に記述しますので興味のある方はご一読ください。
僕には発達障害と診断され自殺願望を抱く友人がいました。 彼は自分の特性を病名という言葉によって強制的にカテゴライズされたことに深く傷ついていて、そのことが自分の今の言語に対する根本的な考え方を形成しています。言語について学びを深める中で、言葉と文法から成るそれは、誤解を減らすべく、相手に解釈の幅を与えないように変化してきたと知ります。例えば、「言葉」は曖昧な思考・概念を明確に表現するためにあると言われ、「親友」という言葉に漠然とした違和感を覚えていた僕は、それが特別な関係や感情を「言葉」にすることからくる拒絶感だと知りました。前述の彼を傷つけたのは、社会生活と結びつき、自他をカテゴライズしてしまうという言葉の窮屈さだと考えたのです。文化庁がSNS上で用いられる文体を「打ち言葉」と定めたことからも分かるように、言語と生活様式は表裏一体です。ゆえに、既存の言語は社会の秩序を保つ役割を担うので、排除することは難しいと考えています。
そこで僕はまず、既存の言語を補完しうるような「新しい言語」の制作を考えました。例①総単語数を極度に絞り、一単語が担う意味の量を飽和させる。②意味の欠如に耐えられず否が応でも思考するような人間心理に基づいた設計にする。③時間軸・空間軸的偶然を取り入れ、絶対に再現不可能にする。①に関しては、3日間特定の人物と特定の数単語で会話する実験を行いました。僕の頭の中には他にも様々なアイデアが渦巻いているが、どれもまだ不十分で、長期的な視野で取り組んでみたい研究テーマです。
これらのエピソードをきっかけに、僕は生きていく中で、性別、思想、感情。ありとあらゆる複合的要素で成り立っているはずのものたちが細分化され、パッケージ化することで論理的な説明を可能にしようとする現代社会の特性に強く不信感を抱くようになりました。そもそも、 さまざまな複雑な要素で成り立っているものを論理的にかみ砕いて解釈するという行為自体、 その単純化過程で要素がそぎ落とされているのは確かです。 今回の作品のテーマも言語のカテゴライズ機能に対するアンチテーゼが根本に存在します。
step2. ビジュアルのリファレンス
今回の制作にあたってのビジュアルイメージのリファレンス集です。 もともとCGというよりは2Dグラフィックスが好みなので今回のルックもそのようなものを制作したいと考えていました。全部めちゃくちゃ良いのでぜひご覧ください！
Unknown — Don’t tell me what to do [2023]
Max Cooper — Unspoken Words — Symphony in Acid (official video)
step3. 実制作の内容と反省
ツール面
まず最初にtouchdesignerを用いて今回の制作をしてみようと考えました。もともと興味はあったものの手を出せていなかったツールで今回の授業を受講した理由でもあります。 ただ、いざ手を進めてみるとprocessingの方がビジュアル面で自分の好みに合っており、制作発表一日前にprocessingに完全移行し、コーディングによる制作に切り替えました。 学びも多かったですが、もともとプリレンダ系の映像を制作していた自分は、今回初めてコーディングやtouchdesignerを用いた制作をしたということもあり、技術的にしたいことができないという場面も多かったです。ならばそれを学べばよいという話なのですが、並行していた本業の制作が忙しすぎてどうしても手が回らず、満足いくようなものを制作する技術力を身につけることができませんでした。また、個人製作をした関係でグループ内で負荷を分散できず、また、自分の足りない部分の技術を他人に補強してもらうことができなかったのも反省点だと感じました。
作品の内容面
作品の内容面でも修正を加えていて、もともと「脳波のパターンに応じて一文字ずつひらがなを出力(画面に表示)し、それが意味を持つ単語の並びになったら一度ハイライト。最終的にそれらの単語を文章としてアウトプットする映像作品」を制作する予定でしたが、一文字ずつ検出したひらがなを単語として認識したときにハイライトを加える処理を行う際chatgptのapiを使う必要があり、その手法がわからず断念。結果「脳波のパターンに応じて事前に用意していた英語の単語群の中から単語を選出し、最終的にそれらの単語を文章としてアウトプットする映像作品」という方向性に切り替えました。ここも自分の技術力の問題で方向を転換することになってしまい反省点です。
音についても、選出した単語を機械音声で読み上げると面白そうとは思っていたものの、それも技術的に叶わず、また、英語の文章が最後に生成されたときにその翻訳も記述するようにもしたかったのですがそれもできず、、しかも時間的な面でその技術取得も満足にできない状況になってしまっていました。
step4. 実際の制作物について
すでにコンセプトや内容については記述してあるので、動作したときの録画をここに貼っておきます。技術面はもちろん、ビジュアル的な面でももっと詰めれる部分があるなという感想です。
最後に
今回の制作を通していろいろなことを学びました。もともとプリレンダ系の創作に傾倒していた自分としてはリアルタイム要素の強い今回の制作内容はとても新鮮でした。ただ、技術的な問題、時間的な問題でコンセプトに沿った完全な創作物を作ることができず、反省点も多くあります。今回の記事公開に合わせて内容をアップデートしようともしたのですが、それもできないくらい多忙になってしまっていて、せっかく教えていただいた講師陣の方にも本当に申し訳ない気持ちです。また、自分はやはりプリレンダ系の映像制作が好きなんだなと再認識することもできました。一度足を踏み入れてみたい分野だったのですがなかなか腰が重かったので今回の制作をきっかけにそのような学びも得ることができました。ネガティブな内容を書いてばっかりになってしまいましたが、僕としては収穫も多く、また今回制作した基礎のプロジェクトをもとにまた発展する機会もあると思っているので、自分にとってとても良い経験になったなと感じております。改めましてありがとうございました！
