[CC LAB 22秋] 取り組んだこと
この記事はComputational Creativity Lab(慶應義塾大学 徳井直生研究室)の2021年度秋学期最終レポートを兼ねています。
環境情報学部 1年 佐々木ユリアと申します。
秋学期に取り組んだことについてまとめていきます。
今期は、主に姿勢推定を用いてオープンソースの使い方やモデルの理解など、基本的な実装力を身につけることに注力しました。
最後にアウトプットとして姿勢推定を用いた作品を制作しました。
目次
1 . 姿勢推定モデルの検証
2 . 作品
3 . 反省と今後
姿勢推定のモデル検証
・姿勢推定とは
人物の姿勢を推定するモデルです。
3次元情報を2次元画像から推定し、画像・動画に対して扱うことが可能です。deep learningによって骨格の特徴点を学習し、骨格推定を可能にしています。
リアルタイムに推定することが可能で、スポーツの動作解析にも用いられています。
最近では、医療やセキュリティといった様々な分野での活用が期待されています。
media artの領域では、第20回文化庁メディア芸術祭 アート部門で優秀賞に選ばれた「Alter」というロボットを用いた作品は姿勢推定が使われています。周囲にいる人間の骨格を判断することによって、ロボットの制御に影響を与えることができます。
・エジプト絵画に姿勢推定を行う
エジプト絵画の特徴は顔・胴体・足は横向き、目・上半身は正面を向いて描かれます。
「人間」から見れば人の骨格を読み取ることができますが、人間の曖昧な骨格を持つエジプト絵画を「AI」はどのように認識するのか気になり検証しました。
上記の写真は、openposeで姿勢推定を行いました。openposeでは一部の骨格が推定されることはありましたが、完璧に推定できたエジプト絵画はありませんでした
この結果を受けて、他の姿勢推定モデルでは検証されるのか、写真ごとにモデル比較を行いました。
openpose、mediapipe、yolov7の3種類の姿勢推定モデルを用いて検証しました。
・エジプト絵画
左の画像からopenpose、mediapipe、yolov7となっています。
openposeはほとんど検出されず、mediapipeに関しては全く検出されませんでした。yolov7に関しては、微妙なミスはあるものの、概ね検出されました。
・横向き（人間）
エジプト写真の結果から、姿勢推定は横向きのモデルに対して学習がなされていないのか確認するために、人間の横向き写真をモデルに検証しました。結果は、mediapipeのみ全く反応しないことが分かりました。
・戦場でのカモフラージュ写真
（yolov7以外全く反応しなかったため、写真はyolov7のみ掲載）
カモフラージュ写真に対しても
このようにオープンソースとして誰でも使用できることで、開発者の意図しない使われ方をされることも視野に入れておかなければならないと思います。
・人体模型
（yolov7以外全く反応しなかったため、写真はyolov7のみ掲載）
yolov7では認識されたが、骨格に対して骨格推定がかからないのは、AIが学習データをもとにしか判断できないことが表れています。
以上の画像によるモデル比較から、yolov7の認識能力の高さが読み取れます。
作品
人類の進化を表すアニメーションを制作しました。
私たち人間はホモサピエンスに位置付けられます。
人間は、絶滅と進化を繰り返した結果、出来上がった形です。
骨格は道具やまわりの環境に適応していく中で少しずつ変化していきます。この変化に適応できなかった生物は、絶滅していくでしょう。今、生物として生き残っているという事実は、環境の変化にうまく適応し、自らも変化していったことの表れだと言えます。
進化を表す図として少しづつ直立していく姿を描かれることが多いですが、実は人類起源の骨格に近づいているのではないでしょうか。
ライフスタイルの変化により、人々は長時間椅子に座って過ごしています。ここ20年の間で人類はスマホやPCといった新しい強力な道具を手に入れました。道具によって我々は進化しましたが、骨格においては原点回帰のような変遷を見ることができます。
「歴史は循環する」と言われるように進化の軌跡を映像にしました。
yolov7を用いて骨格推定し、touchdesignerで作成しています。
反省と今後
姿勢推定モデルの評価をしましたが、評価しただけで終わってしまい、評価後の展開が作れませんでした。
自分の活動を発表するからには、聞き手に対してもう少しgiveできる考察が必要でした。
議論に対する考察の浅さも目立ったので、物事を構造化と抽象化して取り出すトレーニングを積み、深掘る癖をつけたいと思います。
また、実装力やvisual領域への圧倒的な知識不足を感じました。
良いインプットから良いアウトプットが生まれるというように、サーベイを欠かさず行うとともに自ら展示に足を運び、知識を深めていきたいです。
実装力に関しては、ある程度時間をかけないと上達しないと思うので、手を動かし続けていきます。
全体的に今期は、自分の興味の赴くままに進み、俯瞰できていなかったため、自分の進むべき領域を整理しなおす時間も取ればよかったなと思います。
今期の活動で得たことを活かしながら、今後も技術力を高め、表現の幅を広げていきたいと思います。
昨今、AIの進化に衝撃を受ける毎日ですが、古典的な仕組みから学ぶとともに時代の一線をかける仕組みの両方を追っていきたいです。
作品としては、一方的なvisualだけでなく、リアルタイム性を持つインタラクティブなvisualの制作にも挑戦します。
CCLABの皆さん今期の活動を支えていただきありがとうございました。
