Maker Faire Kyoto 2023でomicro balloid | 複合現実と自律型AIを用いた球体型ロボットの群制御システムを展示してきた
2023年4月28日から29日にかけて行われたMaker Faire Kyoto 2023でomicro balloid | 複合現実と自律型AIを用いた球体型ロボットの群制御システムを展示してきたので振り返りを書きます。
出展前の情報については以下のページにまとめてます。
展示物
omicro balloid | 複合現実と自律型AIを用いた球体型ロボットの群制御システムを展示しました。
出発時点の展示荷物の総重量は14kgでした。Maker Faire Rangist 2023の荷物運搬中に展示物が破損したので、3Dプリンタで作ってる部品の強度を上げたり、スーツケースの中のパッキングを工夫しました。
展示物のシステム構成は以下のページの 3.2 システム構成の内容が最新なので省略します。
3.2.4 「iPad Proを三脚で固定する。球型ロボットはiPadのカメラの画角に入るように設置する。iPad Proの高さは地上から130cm前後に設定する。」と3.2.7「UnityアプリケーションでOpenCVモードをオンにして、球体型ロボットの中心点を取得。動作環境が明るすぎたり暗すぎる場合は、必要に応じてOpenCVモードの2値化の色範囲を変更して、AR空間上に球型ロボットのデジタルツインを出現させる。環境光の影響で検出位置がずれるので、OpenCV検出位置の補正機能を用いて、奥行きや縦横の位置を手動調整する。」が大きな変更点です。
omicro balloidはiPad ProのLidarセンサとOpenCVによる画像解析を組み合わせて球体型ロボットの位置を補足するので、周辺環境の影響を強く受けます。家でうまく動いたと思っても、展示会場で設定があわず展示できないということが過去何度もありました。それらの反省を踏まえて、今回は携帯用三脚とiPadアプリ内のOpenCV検出位置 補正機能を用意して挑みました。三脚は画角を固定させて周辺環境による影響を抑えるためのものです。OpenCV検出位置補正機能は環境の影響で検出位置がずれた場合にプログラムで手動で補正をかけるためのものです。
イベント前日
東京から京都までの移動はぷらっとこだまで新幹線で移動しました。GW価格だったので安くなかったですが、LCCでの移動に変更しても金額が大きく変わらなかったので鉄道での移動で良かったと思います。
前日設営を行いませんでした。京都に前日入りしましたが、会場のけいはんなオープンイノベーションセンターと宿の距離が離れてたので、設営は当日行い、前日は宿泊先の奈良ならまち周辺を観光しました。
宿は会場に1番近いけいはんなプラザホテルが前回泊まって不便だったので、近鉄奈良駅から徒歩五分くらいの距離にあるはる家 ならまちにしました。京都と奈良のホテル代がとても高くて選択肢があまりない時期で、少しでも宿代を抑えるためゲストハウスにしたのですが、これは大正解でした。
ゲストハウスですが、個室に宿泊したのでほぼ旅館のクオリティでした。運営は半無人で洗練されてて無駄がなく、町家を改築した建物の静けさを楽しむのが周知されてて、ゲストハウスなのに全く音がしませんでした。こういう運営方法もありなのかと気付かされました。とてもいい宿だったので来年もまた泊まりたいです。
宿の近くに銭湯があったのもとても助かりました。Maker Faire Rangsit 2023の時はバスタブがない宿が多かったから、旅行中に身体がなかなか回復しませんでした。 今回は歩いて行ける距離に5つ銭湯もがある環境だったので、身体をちゃんと休めながら旅ができました。
前日はここに宿泊で良かったと思いますが、会場まで40分くらいかかるので、会期中の宿はけいはんなプラザホテルでもよかった気がします。
当日設営
今回は展示レイアウトで苦労しました。卓上展示と床での展示スペースを確保するため念の為2区画申請したのですが、展示エリアのすぐ横に柱があったので、2区画を横に配置して展示できませんでした。机と操作ブースを横に並べると柱が邪魔してブースが隠れてしまうので、泣く泣く机を後ろにひいて、机の前に床展示スペースを設けて展示を行いました。
その結果、床展示は見てもらえましたが、机の上に配置したものは全然見てもらえませんでした。プロダクトの説明用のカードはこれまでで1番持ち帰る人が少なかったと思います。2区画横に並べるのが難しいのは見れば一目瞭然なので、Maker Faire運営の方達には柱を考慮してレイアウトを考えていただきたかったです。
Unityアプリ内部の設定機能を拡充したので、時間がかかると予想してたOpenCVの検出位置調整はすぐに終わりました。Ogaki Mini Maker Faire 2022の時は30分くらいかかってたので、それを考えると進歩したと思います。
Maker Faire当日
PB Make部名義で2名でブースを折半する予定だったのですが、同伴者が作品準備が間に合わなかったり家庭の事情で抜ける時間がほとんどだったので、実質一人でお昼休憩以外は休みなく展示しました。喋り続けて、気づいたら2日間終わってました。
最初はUnityアプリに追加した球体型ロボットの手動操作機能にふれてもらう体験型展示をメインでやる方向で考えてましたが、初日1〜2時間展示してUnityアプリの画像検出機能が期待以上に動いてることがわかったので、途中から球体型ロボットの自動操縦のデモをメインにして、時折小さな子供が訪れた際は説明だけだと飽きちゃうので体験型展示を行うようにしました。
「複合現実を用いた自動展示」と「Unityアプリを用いた体験操作型展示」、「従来からやってたデモ型展示」をモードを切り替えてハイブリッドにやりたいと考えて準備をしてきたので、それが2日間通しで実際にできたのが個人的に大きかったです。
当日の説明は下記の手順で行いました。
- 複合現実の技術を用いて球体型ロボット人工知能を追加する展示と最初に説明。
- 球体型ロボットに単独で人工知能をするのが理想だが、構造上の理由でセンシングデバイスを追加しづらい。単体で考えて行動させるのが難しいことを説明。
- 上記を解決するため外部のUnityアプリケーションを用いたと説明。
- 人工知能を発展させるには周辺から情報を与えてあげる必要がある。複合現実を用いれば、内蔵センサで取得するより多くの情報を取得して球体型ロボットに与えられることを説明。球体型ロボットのデジタルツインを生成して、実際に起こる前にシミュレーションできるのがこの技術の優位な点であることを説明。
2022年の最初の頃は球体型ロボットの移動範囲を仮想のフェンスで制限するのが目的で始めた本展示ですが、去年のMaker Faire Tokyo 2022くらいから複数の球体型ロボットを仮想と現実を混えて群制御する方向に傾き始め、Ogaki Mini Maker Faire 2022からはさらに趣向を変えて現実に存在する球体型ロボットに複合現実を組み合わせてAIを形成させる部分にフォーカスを当ててみせる展示にしました。
全体の構造や説明が複雑になったので、Ogakiの時みたいに全く見てもらえない聞いてもらえないのではと思ってましたが、拡張現実空間上で現実の球体型ロボットを追尾するゲームAIが休みなく動いたので、その動きに興味を持ってくれた方が説明をきいてくださりました。あと、説明の最初に最終成果の説明をもってきたことで、食いついて質問してくれる方も以前より増えました。
展示振り返り
今回も展示1日目と2日目にKPTで振り返りをしました。
Keep
- はじめて複合現実モードで1日中通しで展示した。NT金沢2022 MFTokyo2022 の時は完成度が低くて展示形態を維持出来なかった。OMMF2022 の時はxR展示に耳を傾けてもらいやすい環境だったけど、導線に問題があり複合現実展示に気づいてもらえなかった。YOXO と MFRangsit2023 の時はお客さんに展示を寄せたので展示形態を維持できなかった。やっと通しで展示できて感無量。
- 2区画を縦に配置して手前に操作エリアを配置したのは苦肉の策だったけど、良かった。
- 軽量三脚を用意して挑んだが、これにより画角を自由に選べるようになり、検出の精度が大幅にアップした。
- 検出位置の補正機能は完璧に機能した。マーカーが機能しづらい環境でも、補正をかけられた。
- 十字キーを複合現実アプリに用意したが、これも機能した。複合現実だけだと子供が関心をなくす。複合現実アプリに手動操作可能なUIを追加することで、複合展示をやりつつ体験型展示ができた。
- 電池交換2回で済んだ。
- 一度も球体型ロボットが不安定になる機会がなかった。Rangsitの改良がを活きてる。確実に前より安定してきてる。
- 英語の説明を用意したのがよかった。
- 複合現実の技術を使って現実空間に存在するロボットに知能を生やすという説明は、以降の説明がしやすかった。
- ファミリー向けに「現実に存在しないボール型ロボットが現実のロボットに影響を与える展示」、成人向けに「複合現実を使って展示物に知能を付与する展示」と最初に説明したが、端的に説明するにはよかった。子供にも自動展示を聞いてもらえた。
- iPhoneのロックをオフにして常に充電状態にすると、アプリが終了しなかった。メモリに空きがあっても、ロックしてかつバッテリを消耗してる場合はアプリが解放されるケースがある。
- アプリがオブジェクト大量出現によるクラッシュ以外でクラッシュしなかった。メモリーリーク問題やパフォーマンス問題は解決した。
- iPad ProをMacbook兼カメラ兼スマホとして使ったのはとてもよかった。
- パッキングが大成功だった。ランシットから格段に荷物の整理が楽になった。
Problem
- ブース前に柱があって2区画を横に配置して使えなかった。1区画が捨て区画になってた。Maker Faire運営にフィードバックを伝える。
- マイコン〜使ってないんですかと何度も聞かれて、あまりいい気持ちしなかったので、自分では言わないように気をつける。
- 球体型ロボットの欠点が長くて余計だったので、説明の順番を変える。
- iPhoneロックのタイミングでBLEの接続設定がリフレッシュされることがある。
- 休憩なしで最初から最後まで展示した。疲れた。
- 大量にゲームオブジェクトをタップされるとアプリがクラッシュするがこれはしょうがない。出現オブジェクト数を制限する処理を入れる。
- 天井の照明が明るすぎて青色LEDがマーカーとして機能しづらかった。補正機能大活躍。
- 机の上の物を見てもらえなかった。レイアウトが変則で厳しい。
- BLEが繋がってるかが分かりづらかった。再接続機能を強化する。
- エレクトロニクス作品を期待してきてる人には退屈だったりスルーされやすい展示だった。
- 共同出展者が途中離脱して、休憩するタイミングや展示作品を見て回るタイミングが分からなかった。
- 電池の充電が間に合ってなかった。充電器は以前のように２つ必要。
- 展示物を前に押し出すと展示説明が読まれない。展示をどこでやるかを考える。
- iPad Proが発熱して、アプリを終了するケースが2度あった。
- 電池ホルダーが移動で壊れそう。強度を上げる。
- 設定機能の保存が効いてないケースがあった。
- 球体型ロボットの検出エリアサイズが最小でほとんどの場合良かった。最大を減らし最小を伸ばす。
- 話が長いと子供も大人も飽きてた。説明の構成を見直す。
Try
- 現実のロボットに仮想で起きた衝突などの事象を反映してるのを見てみたいという声を多くもらった。実際に試す。人それぞれの設計を尊重する。考えを押し付けない。自分と考えが違っても耳を傾ける。
- これまでは仮想空間で現実のロボットボールの動きを再現してたが、今度は現実を超えた仮想空間上の動きを現実で再現する。
- 現実のハードで球体の動きを再現する。
- 360度に即座に移動する球体型ロボット
- アプリケーションやハードウェアをモジュール化して切り出す。
- スマホを購入する。カメラがいいやつを用意する。
- エリアサイズの初期値を小さくする。
最後に
NT金沢2022 Maker Faire Tokyo 2022 の時はUnityアプリの完成度が低くて複合現実を用いた展示形態を2日間維持できませんでした。Ogaki Mini Maker Faire 2022の時は説明方法や展示の見せ方に問題があり、イベントの半分くらい球体型ロボットが動いてることは気づいてもらってるけど、複合現実展示に気づいてもらえませんでした。YOXO Festivalと Maker Faire Rangsit 2023の時は客層が子供寄りで、子供のお客さんに喜んでもらうため複合現実展示を封印しました。
2日間ほぼ通しで複合現実展示を行えたのは今回がはじめてで、かつOgakiの時に関心を持ってもらえなかった小さなお子さんにも複合現実展示を見てもらえたのが個人的に嬉しかったです。
次回はNT金沢2023で展示予定です。今回までは完成度を高める方向で進めてきましたが、だいぶ安定してきたので、金沢ではもうちょっと冒険した内容の展示にしたいと考えてます。毎回地味にアップデートしてるので、また飽きずに話を聞きにきていただけると嬉しいです。
