NT金沢2023で展示してきた(2)：イベント当日
2023年6月17日から18日にかけて行われたNT金沢2023でomicro balloid | 複合現実と自律型AIを用いた球体型ロボットの群制御システムを展示してきたので振り返りを書きます。
出展前の情報については以下のページにまとめてます。
展示物
omicro balloid | 複合現実と自律型AIを用いた球体型ロボットの群制御システムを展示しました。
テーマ
今回のメインテーマはxRとハードウェアロボットによるマルチエージェントシステムのアップデート。ゲームAIとハードウェアロボットの知能の強化でした。
以前からxRの球体型ロボットにゲームAIで知能を持たせて、ハードウェアの球体型ロボットomicroと簡易な群制御を行うことはしていましたが、今回はxRで出現させたゲームAIに、以前より高度な知能と自然な動作を加えることを目指しました。
知能は世界から得た知識や情報をもとに自分の行動を形成するので、まずはハードウェアの球体型ロボットの行動形成に関連する周囲のエージェントを強化して、そこから得た刺激をもとに、これまでより高度な知能に発展させようというのが狙いです。
ちなみに裏テーマは影による演出の強化でした。
変更点
展示物のシステム構成は以下のページの 3.2 システム構成の内容が最新でMaker Faire Kyoto 2023とほぼ同様なので詳細は省略します。
3.2.1の開発した球型ロボットをその上に配置する。床や壁が反射しやすい場合はLEDの2値化に失敗するので、反射しにくい黒のシートを床の上に置く。LEDと同色の光を放つプロダクトの近くも避けると、3.2.9のAR空間上で球体型ロボットを追尾するゲームAIを走らせる。ゲームAIが現実空間に存在する球体型ロボットと接触すると、現実空間に存在する球体型ロボットが回避行動を起こす。追尾と回避を繰り返して、結果として球体型ロボットが自動で動き続けるが大きな変更点です。
3.2.1はシートを使わずに展示を行いました。これはMaker Faire Rangsit 2023以降ずっと続けてた設定機能の強化によって実現したものです。以前は環境に合わせてiPad Proの位置やアプリの設定を時間をかけて調整をしてましたが、設定情報を保存したり設定自体が増えたことでこれはだいぶ簡略化されました。シートには球体型ロボットの識別精度アップと球体型ロボットが勝手に走り回らないようにする目的もありましたが、後者はiPad Proの画角から球体型ロボットが離れるとゲームAIが追ってこなくなり結果ロボットが自動で停止するので、シートがなくても解決できることがわかってきました。
3.2.9に関しては、テーマでも書いたようにゲームAIの種類を増やしました。新たに犬を追加し、これまで存在したゲームAIも全てBehavior DesignerからArbor3に書き換えてました。あと地面や壁面にNavMeshAgentでゲームAIの行動範囲や行動方法の情報をリアルタイムで付与してるのですが、その設定を調整することで、ゲームAIがより自律的にそれぞれ動くようにしました。
展示レイアウト
今回は応募をし忘れてたので、カサネタリウム堀さんのブースで共同展示をさせていただきました。ただ、三脚を使う展示の性質上周囲の展示者やお客さんの邪魔になり、2日目迷惑をかけないようにするため空きスペースに三脚を立てて展示を行ってました。
狭い場所だと迷惑かけるので、次回からは広いスペースの確保をちゃんとやりたいと思います。
イベント当日
1日目は石川中央魚市にいったり、見知ったお客さんが多くて同窓会的な雰囲気もあってあまり集中して展示できませんでしたが、2日目は集中して展示を行えました。
1番みてもらいたい箇所はxR技術で出現させたゲームAIがハードウェアの球体型ロボットに影響を与えてるところでしたが、以前みたいに詳しすぎる機能説明はあえてしないようにしました。結果 ゲームAIを出現させるのに使ってるUnityアプリや球体型ロボットの各種機能（スマホ操作、iPad操作、watchOS操作）に興味を持ってくれる人もそれなりに多く、お客さんの最初の反応を見て説明や展示内容を変えてました。
私は球型が1番遊びかたと表現の解釈の幅が広いから長年この形にこだわってロボット開発を進めてます。ゼルダみたいに「こういう楽しみ方ができる作品です」ではなく「これ使えばこういう遊びができる」とお客さんが思いつくのが一番の理想だと思ってるので、そういう展示に近づいてきてるのは、とても良いことだと思いました。
会場の雰囲気
展示振り返り
今回も展示1日目と2日目にKPTで振り返りをしました。
展示やってると上手く行く日とそうでない日があります。そんな時いい点と悪い点、トライをバランスよく書き出すと、高揚し過ぎずネガティヴにもならずに客観的に2日目に入れるので、自分は以前からこのやり方で振り返ってます。Ogaki Mini Maker Faire 2022の時にこれをTweetしたらいろんな方からレスポンスがあったので、それ以降はSNSで目に見える形で振り返りを残してます。
Keep
- 犬のAIは以前より明らかに説明しやすくなり、作品に興味を持つ人も増えた。子供でタップし続ける人も多くいた。AIの知能はちゃんと機能して、現実のボールをちゃんと追い回し続けてた。
- リアルタイムMesh生成→NavMesh生成→ゲームAIの移動可能位置調整も機能した。
- 床シートなしでも、ある程度自動で動かせた。
- お昼美味しいお店に行けた。高須さん勝田さんありがとうございます。
- 念願のいしかわさんと夕飯食べられた。
- 堀さんのおかげで展示できた。ありがとうございます。
- 球型ロボットをUnityやiOS・watchOSのコントローラで操作したい子、犬を出して遊びたい子、マイクラみたいに物を配置したい子、ヒューマンステンシルにShaderをあてて楽しみたい子、球型ロボットに直接触れて遊びたい子、楽しみ方を広げたことで、色んなタイプの大人や子にリーチできるようになった。
- 犬をいっぱい出す遊びが人気だった。ARと群シミュレーションを組み合わせた作品をいつかどこかで展示したかったが、手持ちの機能で叶ってしまった。
- 前日と違って1日集中して展示できた。
- ブースから離れて広いスペースで展示をやったのは良かった。
- 以前と比べるとiPadを使った展示に気づいてもらえるようになった。視界に入ってくるコンテンツを出せるようになった。
- 床にシートを引かなくても、ある程度自動展示することができた。iPadの画角から離れると、自動で止まるのは改善の余地だが便利。作品から離れて展示をすることができた。
- アラン・ケイの「未来を予測する一番いい方法は、自らそれを創ることだ」という言葉が好きなので、今日の展示を見た人から「未来の技術。20年後のスタンダード。未来が見れてドキドキした」と伝えてもらったの特に嬉しかった。
- Unityアプリの機能が充実して、以前よりお客さんの楽しみ方が広がった。「こういう楽しみ方ができる作品です」ではなく「これと球体型ロボットを組み合わせればこういう遊びができる」とお客さんが思いついて勝手に楽しんでもらえる展示に以前よりなってた。
- 球型の特徴がやっと活きるようになってきた。遊びかたと表現の解釈の幅が広いのが球型の特徴。何かと組み合わせたときに主張しすぎないのが球のいい点
Problem
- ゲームAIが画面の見えない位置にいってしまい、位置を戻すことを何度も強いられた。
- iPhone14でもomicro iOSのBLE接続が初期化された。RAMの問題ではない。
- 展示スペースの問題で、展示が難しかった。
- 会場が騒がしくて作品の音は全く聞こえなかった。
- 群制御の説明が難しかった。バーチャルと現実のマルチエージェントによる群制御と説明するのがよかったかも。
- 飲食店が混んでて、お昼休憩を長く取り過ぎた。
- 大きな車輪の車軸受けが壊れた。モーターが3個壊れた。消耗で部品交換が多い日だった。
- 位置を移動して目立つ位置で展示したが、気付かれないケースが以前よりは減ったがあった。三脚はあるだけで展示してる感が増す。
- 充電なしで展示したので、iPadの電池消耗が激しかった。
- 優しく触れてくださいと伝えても、強く叩くようにiPadに触れる子供がそこそこいた。親のストップは期待できないので、乱暴に扱わないようにUIの見せ方を工夫する。
- 鈴木さん（青）がカメラの画角にいる環境だと青に反応して検出機能が動かなかった。鈴木さんが入っても動くようにする。色以外の検出方法を用意する。
- 目の覚めるような青一色の靴を履いてる人が世の中にはそこそこ多くいることがわかった。ボールの検出に失敗するケースがあった。
Try
- ゲームAIの選択画面をサンドボックスゲームのUIにする。選択しやすくする。
- 展示説明を三脚に貼るようにする。
- ゲームAIの出現数制限を用意する。
- ボールの位置検出処理を根本から書き換える。色依存を止める。
- ゲームAIを画面から出ないようにする。
- 影機能がOpenCV検出位置にも反映される。されないようにする。
- 検出位置にボール型エフェクト以外を出せるようにする。非表示設定を用意する。自身の作品をomicro ballidに組み込んで動かせるか聞いてくる展示者がそこそこいた。
- 三脚用の展示プレートを用意する。仕組みの説明を足す。
- レーザーポインタで球体型ロボットのつぎの移動位置を設定する機能を追加する。
- iPadの反対絡みたときに何やってるかわからないので、気づく仕組みを用意する。影をプロジェクションマッピングする。
- 新幹線を早めに予約する。
- Unityアプリをファミコンにみたてる。ランチャー画面で色々なカセットをお客さんが選択して切り替えられるようにする。
最後に
ゲームAIがより生き物っぽくなったことで、結果として球体型ロボットも生き物っぽくなり、以前よりお客さんに興味を持ってもらえるようになりました。テーマの実現はできたと考えてます。
とはいえまだ知能としては初歩の初歩なので、次回展示ではより進化した知能を球体型ロボットに組み込めるように進めたいと思います。
最後になりましたが、展示を見にきてくださった皆さんありがとうございました。
