[CCLab21春]人工知能が”説文解字”を更新する
この記事はSFC Computational Creativity Lab（徳井直生研究室）21春学期の最終レポートです。
初めまして、今期から徳井研究室に所属している慶應義塾大学環境情報学部2年渋谷和史です。私は視覚表現と機械学習を用いた作品製作・研究を行なっているx-visualチームの一員として1学期間活動してきました。今期の個人の活動内容と、x-visualで制作したCompressed Ideographの作品紹介を以下に述べます。
目次
- 自己紹介
- Survey&輪読
- 臨書する機械
- Compressed Ideograph
- 反省と課題
自己紹介
改めまして渋谷和史です。受験勉強に嫌気が差していた高校時代にメディアアートに出会いました。テクノロジーを用いたアートの面白さに魅了されてSFCを受験し、今期からCCLabに所属しています。人間との関わりの中で人工知能の表現の可能性がどのように広がっていくかに興味を持って作品を制作しています。
Survey&輪読
x-visualでは体系づいた知識の獲得を目指し、論文の要約と、技術書の輪読を行っています。今期の輪読は「Pytorchによる発展ディープラーニング」を読み、Pytorchを使ったGANやSemantic Segmentationの実装を勉強しました。要約は調べた論文を技術の変遷分かるようにマッピングしました。私は輪読でSemantic Segmentationのパートを担当したこともあり、YolactEdgeなどの物体検知モデルやMask R-CNNなどのセグメンテーションモデルを中心に調べました。
臨書する機械
今期の徳井研では個人で一つ小作品を制作する「やってみた」を行うことになりました。ここでは私が制作した「臨書する機械」について説明します。x-visualチームの作品制作の議論の中でStyleganを触っていたので、私のやってみたではGANを使って何かを作ろうと思い、この作品を制作しました。
現代社会では文字は書くものではなく打つものであり、手描き文字を見る機会も減りました。打つ文字は非常に見やすく、また誰でも美しい文字で文章を書くことができる一方で、手書き文字の美しさ、迫力、可愛さ、文字に滲み出た書き手の性格など、手書き文字にはあった様々なものを失っています。書道、カリグラフィのような文字を手で美しく書くことを目的とした行為は、文字を書くという点で文字をタイプする行為と表面的には同じものでありながら、全く違う意味を持ちます。いくら文字が書くものから打つものに変わっていったとしても、文字を手で書くことが無くなることはおそらくありません。それは手で文字を書く行為、手書きの文字に何かしらの魅力があるからです。
本作品は人工知能に書道の文字を学習させ、文字をプロジェクターで白紙の掛け軸に投影させる作品です。AIは文字を学習する際に、それが文字であると認識していません。AIにとって入力画像はただのピクセルの集合であり、画像としての書道らしさをAIは学習するため、生成された画像から文字情報は完全に失われます。このようなプロセスを経て書道の字から文字情報を取り去ることによって、文字が書くものから打つものに変化した際の残滓の結晶を作り出すことができないかと考えました。
作品の課題・反省
生成した文字を投影した大きな掛け軸はかなり迫力があり、見ていて楽しい作品になりました。また、生成した文字を印刷するのではなくプロジェクターを使って投影したことを活かし、文字のモーフィング映像を掛け軸に投影してみましたが、文字が掛け軸の上で変化する様子はAIならではの表現で面白かったと思います。ただ、掲げたコンセプトである「字から文字情報を取り去ることによって、文字が書くものから打つものに変化した際の残滓の結晶を作り出す」ことができたのかどうかが自分自身でも分かっておらず、表現の方法、使用するモデル、そもそものコンセプトの見直しも必要性を感じています。集めたデータセットも様々な場所からかき集めたものなので、解像度や背景色にかなりばらつきがあり、潜在空間のマッピングに好ましくない偏りが生じている可能性もあるため、データセットの改善も必要だと思っています。反省点や課題は沢山ありますが、個人的には気に入っている作品なので来期までに改善し、どこかのコンテストに出したいと考えています。
Compressed Ideograph
Compressed Ideograph 和訳すると圧縮文字です。紀元100年に許慎が説文解字の中で六書(象形文字、指事文字、会意文字、形声文字、仮借、転注)と呼ばれる漢字の成り立ちの分類方法を発表しました。この作品は人工知能を用いて六書に新しい七書目を加えようとするプロジェクトです。人工知能という現代のテクノロジーを使用することで、2000年近く変化のなかった六書の更新を目指します。
text2imageのモデルを使用して任意の文字列や文章を一文字の漢字に圧縮し、ビジュアライズします。文章やこれまで漢字が与えられていなかった文字列に漢字を与えたり、すでに漢字が与えられている概念に新しい解釈を与えることを試みています。
左の漢字はdislocation(脱臼)という入力に対して生成された漢字で、手偏のようなものが生成されています。真ん中の漢字は( ｀・∀・´)ﾉという顔文字の入力に対して生成された漢字で、ノの部分が大量に漢字に含まれているように見えます。右はmangoという入力に対して生成された漢字で、草冠のようなものが出力されました。
作品製作の中で私はstylegan2-adaによる漢字生成の実験と、コンセプトメイキングのための漢字の歴史のリサーチを行いました。
アーティストの石橋友也さんとお話しさせていただいた時に「技術を学ぶ時間と作品のモチーフを探す時間は全く別に必要だ。」とおっしゃっていましたが、技術を触っていて感じた面白さを作品に昇華させるためにアンテナを張り巡らすこと、本を読むことなど技術に触れる以外の時間の大切さを感じました。
作品の課題
今回は作品製作の時間の多くを議論に費やしてしまい、実装に時間を割くことができませんでした。そのため生成される漢字の精度が高くないのが現状です。この問題を解決するためにデータセットの拡張とアーキテクチャの再検討を夏休み中に行い、秋の展示までには精度の部分を改善したいと考えています。
反省と課題
今期の活動で見えてきた課題は大きく分けて以下の2つです。
・技術に目が行きすぎて、作品の議論が進まなかったこと。
今期のx-visualでは技術のサーベイに力を入れてきました。技術についてより深く触ることで、仕組みを理解し「技術的な面白さ」の議論ができるようになった一方で、技術に焦点を当てすぎたことで作品の議論がなかなか進まなかった部分もあったと思います。来期はアート作品のサーベイをもっと行い、批評する訓練を行うことで、自分たちの作品づくりに活かしていければと思っています。また、技術についての理解を深めた上でもっと柔軟に自由に発想できるようにしていきたいと思います。技術偏重にはならず、かと言って技術を単なる道具として使うのではないアートとテクノロジーの自分の納得のいくバランスを模索していきたいです。
・技術の内容や知識は身についたが、実装力をつける訓練を行うことができなかったこと。
輪読やサーベイでモデルの仕組みを理解したり、google colabratoryで動くモデルを探して使ったりということはしましたが、モデルの中身をいじったり、Pytorchでコードを書くといったことができませんでした。結果的に今期はリポジトリを動かしていただけで、作品の実装を行う際に技術的な貢献をすることができませんでした。夏休み中に「Pytorch実践入門」を読みすすめ、来期はもっと手を動かしてコードを書き、x-visualに技術的な貢献ができるように精進していきたいです。
終わりに
昨年はコロナ禍の中ほとんどの授業がオンラインで行われ、孤独の中作品制作を行っていましたが、研究会に入り仲間達と議論や勉強ができたことは本当に幸せでした。特に私が所属しているx-visualチームは学部生から博士課程まで様々なバックグラウンドを持ったメンバーで構成されているため、多くの刺激を得ることができました。一方で広くvisual artに興味を持ったメンバーで構成されているため、メンバーの本当にやりたいことがそれぞれ微妙に異なり、自分の本当にやりたいことの不鮮明さが際立っていたように感じました。それは技術やアートに対して自分が無知であることが原因であると思うので、手を動かしながら自分が面白いと思うことを突き詰めていきたいです。今期の反省をもとに来期はより飛躍できるように頑張ります。
ありがとうございました。
