[CCLab21春] 2021年度春学期：石井飛鳥の活動報告

Asuka Ishii (Keio University Faculty of Policy Management B2)

概要

この記事は、慶應SFC 徳井研究室（Computational Creativity Lab）における著者石井の21年度春学期の活動を記録している。活動の具体的内容、今期に制作した作品であるCompressed Ideographについての紹介と振り返りを行い、それらを踏まえた上で今期の反省と来期に向けた展望を述べる。（このレポートは、慶應SFC 徳井研究室 21春学期最終課題を兼ねています。）

自己紹介

Asuka Ishiii (udn) - portfolio

慶應義塾大学 SFC 徳井直生研究室（Computational Creativity Labについて）

私が所属している徳井直生研究室では、AI（人工知能）を単なるツールとして捉えるのではなく、人の創造性を拡張する道具、そして創造性の本質を写し出す鏡として捉え、AIの技術的研究及びメディア芸術作品の制作を行い、新たな創造性の構築を目指している。研究室ではメディアやテーマ別にいくつかのチームに別れて議論と研究を行っている。私が所属するx-visualチームでは、AIと視覚芸術の関係に主軸を置き研究を行っている。

今期の活動

1: Paper Survey

21春学期のx-visualでは、先学期まで行われていた定例会のIdeaSketchを行わずに、より技術や作品のサーベイを深めて作品制作に必要な力を養う方針となった。メンバー各自のサーベイは週一回の定例時に発表を行い、技術や作品の詳細を共有する。また知識の体系化を進めるために、サーベイはノードベースにまとめられた。私は、主にデータビジュアライゼーションのアルゴリズムや自然言語処理、画像生成の技術についてサーベイを行なった。以下は今期のサーベイ資料である。

PCA（Data Visualization・Dimensional Reduction）: https://scrapbox.io/SFC-CCLab-x-visual/PCA_:_Principal_Component_Analysis_(%E4%B8%BB%E6%88%90%E5%88%86%E5%88%86%E6%9E%90%EF%BC%89

t-SNE（Data Visualization・Dimensional Reduction）: https://scrapbox.io/SFC-CCLab-x-visual/t-SNE_:_t-Distributed_Stochastic_Neighbor_Embedding

word2vec（NLP・Embedding Layer）: https://scrapbox.io/SFC-CCLab-x-visual/word2vec

doc2vec（NLP・Embedding Layer）: https://scrapbox.io/SFC-CCLab-x-visual/doc2vec

StyleGAN2-ADA（GAN・few-shot learning）: https://scrapbox.io/SFC-CCLab-x-visual/StyleGAN2-ADA

StackGAN（GAN・text-to-image）: https://scrapbox.io/SFC-CCLab-x-visual/StackGAN

DALL-E（Transformer & VAE・text-to-image）: https://scrapbox.io/SFC-CCLab-x-visual/DALL-E

サーベイの密度が上がることで、技術的（特に数学的）理解が深まり新しい技術を知る際にも理解のスピードが早まった。また、学習の際に想定される懸念の解像度が増したことや、逆に「これはやってみなければわからない」と判断する際の判断材料が増えたことで、モデルを構築する前段階で以前より明瞭なロードマップを描けるようになった。しかし、技術への理解が深まったことで作品の発想が凝り固まったことも実感した。技術へのリスペクトは大切だが、我々は機械学習の精度を向上させる研究をしているわけではない。技術への理解が前提にあるボトムアップな制作をしつつも、コンセプトを肉付けする際には技術から距離を置いて発想し、議論することが重要であることを再確認した。来期以降は技術系と作品系のサーベイを5:5にしてバランスを保ち、作品の批評を行う力を養いたい。

2: つくりながら学ぶ！PyTorchによる発展ディープラーニング 輪読会

https://www.amazon.co.jp/dp/B07VPDVNKW/ref=dp-kindle-redirect?_encoding=UTF8&btkr=1

今期のx-visual輪読会では、つくりながら学ぶ！PyTorchによる発展ディープラーニング（以下、発展Pytorch）を読み進めた。Pytorchはディープラーニング用のパッケージであり、Kerasよりも細かな実装が可能だが、tensorflowほどコードを詳細に記述する必要がないという特徴を持っている。また、ディープラーニングにおける最新技術は、近年ではPytorchによる実装レポジトリがいち速く公開されるケースが多い。以上の理由から、Pytorchによる実装力を養うためにこの技術書が選ばれた。輪読では、PSPNet (Semantic Segmentation), DCGAN, SA-GAN, AnoGAN (Anomaly Detection), EfficientGAN (Anomaly Detection)を取り扱った。正直に反省をするならば、各章で利用しているモデルの理解に追われたためPytorchというパッケージへの理解はあまり深まらなかった。輪読書よりも難易度の低いオライリーの実践Pytorchを今後進めて、コード側の理解に時間を割こうと考えている。

3: 自然言語処理100本ノック

https://nlp100.github.io/ja/

個人での学習として、自然言語処理100本ノックの前半（第5章まで）を行なった。自然言語処理処理100本ノックとは、自然言語処理に必要な知識と技術を全100問で体系的にまとめた問題集であり、機械学習に関連しない基礎的な処理から、Transformerを利用した機械翻訳タスクなどさまざまな問題がまとめられている。今期は最終章まで終わらせる予定だったが、時間の都合で第5章までの実装となった。従って、機械学習を実装する段階にはまだ至れていないものの、自然言語処理の基礎知識や前処理の仕方を理解できた。夏季休業中に最終章まで取り組む予定である。

4: doc2vecを用いた日報の可視化

前期は研究会のメンバー全員に論文紹介のタスクが課せられたが、今期は全員が何かしらの実装を行う「やってみた」がタスクとして課せられた。私は、以前から取り組んでいる「日報」を用いた学習の発展として、doc2vecによる日報の可視化（データビジュアライゼーション）を行なった。詳細は以下のスライドを参照していただきたい。

5: Compressed ideographs

今期のx-visualは、GANが作り出す不確定性と記号の性質に着目し、新しい漢字をtext-to-imageな画像生成モデルを用いて生成する “Compressed Ideographs” を制作した。“Compressed Ideographs” は、象形文字などを含む漢字の成り立ちの種類である「六書」に加え、生成モデルが作り出す七書目として「圧縮文字」を提案する。具体的には、（漢字の画像, 漢字の意味）のペアを大量に学習した生成モデルに任意のテキストや単語を入力することで、入力テキストの意味に則った生成を行う試みである・これにより、文章やこれまで漢字が与えられていなかった文字列に対しても1字に圧縮された漢字を与えることが可能となる。

この作品で、私は機械学習パートを担当した。最終発表の時点では、モデルも理想的な出力を行うことが出来ず、また今後どのようなしつらえを行うのかも未確定であったことは非常に反省している。モデルはGPT-3とVQVAEをベースにしたtext-to-imageモデルのDALL-Eを利用した。モデルの品質が悪化している原因として考えられるのは、1：データセットの量の不足 2：データセットの質の不足 3：タスクとモデルの不一致が考えられる。夏季休業中にモデルをアップデートし、9月末の展示に間に合わせたいと考えている。

6: Daily Report

280721_Concept_v1.0

9月の作品展示では、4にあげた日報を使った作品群の集大成として個人作品である”Daily Report” を展示する予定だ。前期は3の自然言語処理100本ノックで基礎体力をつけつつ、Daily Reportのコンセプトを練った。夏季休業中はこの作品の制作に最も注力をしつつ、x-visualにも貢献していきたいと考えている。

反省と展望

前期の最終報告の反省で述べた「技術力不足」「知識不足」「目的意識の欠落」について、今期の活動によってどのように改善されたかを確認し、来期に向けた展望を述べる。

「技術力不足」

自分としては「あまり変化していない」と考えている。自然言語処理100本ノックは前半しか進められていないため、正規表現の記法やUNIXコマンドの使い方は学んだものの、機械学習の実装力が高まったわけではない。発展Pytorchも上述したようにモデルの理解に追われたためPytorchそのものに対する理解が深まったわけではなかった。Compressed Ideographsでもデータセットの前処理はフルスクラッチから書いたもののそれほど多くのコードを書いたわけではなく、モデル自体は既存のリポジトリを利用している。一方で、サーベイにより技術の理解が深まったため自分の知識力と技術力に乖離が生じてしまい、むしろ感覚としては以前よりも技術力が落ちたとすら思える。技術へのリスペクトを忘れずに作品制作を行なっていくスタンスを維持するためにも、自分の手で書いていくことをこれからより意識して研究に臨みたい。そのファーストステップとして、まずは夏季休業の間に自然言語処理100本ノックの後半と実践Pytorchの勉強をしてこうと考えている。

「知識不足」

この点は前期よりも明らかな改善が見られる。サーベイの強化による技術的な理解が進んだ。また、展示会や作品のサーベイの機会も前期よりは大幅に増えた。技術と芸術のバランスが取れていないことが問題ではあるものの、前期よりも大きな進展があったことは評価に値すると考えている。

「目的意識の欠落」

こちらも前期から改善が見られた。今期は個人作品の制作に向けて自然言語処理を中心に自主的に学習を行い、やってみたなどで実際に手を動かして小作品を実装した。また、研究会外部での活動も増え大学を卒業した後のロードマップもぼんやりとではあるものの見え始めている。自分はエンジニアリングというよりかはPMやディレクション側に回りたいと考えているので、外部で良いPMのもとで働く機会を得るためにまずは自分のできることを着実に積み重ねていこうと思う。