Maker Faire Kyoto 2024で披露した「Boundary Blur：球体型ロボットと複合現実を活用したマルチエージェントシステム」の展示レポート
Maker Faire Kyoto 2024は、2024年4月27日と28日にけいはんなオープンイノベーションセンターで開催され、電子工作やDIYに興味を持つ多くの来場者と出展者が集まるイベントでした。私はこの機会に「Boundary Blur：球体型ロボットと複合現実を活用したマルチエージェントシステム」を展示しました。このレポートでは、イベントでの活動内容、会場の様子、私のプロジェクトの振り返り、そして今後の展望について述べます。
Maker Faire Kyoto 2024とは
多様なジャンルのプロジェクトが集まるものづくり展示会であり、最新の技術を体験したり自作作品を展示することで、参加者は互いにインスピレーションを得たり新たなネットワークを構築したりする機会となりました。多くのジャンルのプロジェクトが展示され、プロから初心者まで幅広い来場者が作品を楽しみました。
私自身、今回で3回目の参加となりましたが、今回も新しい発見が沢山ありました。
参加目的
関西での貴重な展示機会で「Boundary Blur：球体型ロボットと複合現実を活用したマルチエージェントシステム」を展示し、電子工作寄りの日本のMaker Faireで複合現実とハードウェアを組み合わせた展示がどのような反応が得られるか確かめたかったのが参加の主な目的です。
加えて、Maker Faireは電子工作愛好家だけでなく、多岐にわたる分野の人々が集まる場であり、様々なバックグラウンドを持つ来場者との偶発的な出会いを通じて、新たな視点やアイデアを得ることを期待していました。このような交流は、私のプロジェクトに新たなインスピレーションを与えると共に、さらなる技術的挑戦への動機付けとなります。
展示準備
前日に会場近くの奈良に移動し、準備に余裕を持たせるために奈良県猿沢インに泊まりました。興福寺の真横にあり、1泊5,000円で大浴場も備えた個室が利用できる素晴らしい立地とクオリティでした。平日の昼間はけいはんなオープンイノベーションセンターへのバス移動が時間がかかるため、最寄り駅まで行ったものの、前日設営はせず当日の設営に備えました。
イベント当日の様子
イベント当日は、他の出展者のブースを見て回れる時間がわずかにありましたが、展示中はワンオペでの対応だったため、ほとんど自分のブースから離れることはできませんでした。しかし、展示仲間の田中さんがいてくれたおかげで、何とかサポートを得ることができました。田中さんは私の代わりにモーターを探しに行ってくれたり、トイレ休憩の際にはブースを見守ってくれたりと、とても助かりました。
当日行った展示内容
私のブースでは、「Boundary Blur：球体型ロボットと複合現実を活用したマルチエージェントシステム」を展示しました。
この展示では、自作の球体型ロボット「omicro」とiPad Pro上で動作する複合現実アプリを組み合わせ、展示空間上にリアルタイムでデジタルツインを構築しました。来場者は物理的なエージェントと仮想空間のAIエージェントが双方向でインタラクションすることにより、物理と仮想の境界が曖昧になる体験をすることができました。
以前はタッチディスプレイを使用していましたが、物理と仮想の区分が明確になると感じたため、Lodge XR Talkでのフィードバックを受けて、直感的な手操作を可能にするLeapMotion 2を導入しました。この変更は、来場者に物理と仮想の境界を感じさせない没入感ある体験を提供することを目的としています。LeapMotion 2を使用したこの新しい操作方法は特に子供たちから高評価を得ており、操作を体験したいという来場者の列ができるほどでした。中には20分以上も遊んでいる子供もいました。
さらに、このバージョンでは、球体型ロボットとゲームAIが衝突すると、その角度に応じてロボットが反発する動作を追加しました。この動作は、実際の物理的衝突を模倣しており、「仮想空間のAIと物理ロボットの衝突が理解しにくい」との声を受けて改善を図りました。衝突速度の再現はまだ完全ではありませんが、物理と仮想の境界が一層不明瞭になり、双方向のインタラクションが以前よりも理解しやすくなったと自負しています。この機能の追加により、技術の潜在的な能力をより効果的に伝えることが可能になりました。
参加に関する振り返り
維持すべき点
展示で成功した点はいくつかあり、特に以下の点は維持する価値があると考えます。
- LeapMotionの使用: LeapMotionを使った操作が子供たちから好反応を得た。操作が見える形で行われたことが他の来場者の注目を引いた。気に入った子供は20分くらい遊んでた。
- 双方向インタラクションの説明: 双方向でのインタラクションが実演しやすく、説明もしやすかった。最後まで聞いていただけた方には、以前との違いや、何ができる技術なのかも理解していただけてた。
- 未来志向のフィードバック: 多くの来場者から未来を先取りしているという感想をもらった。
- 手で操作する展示: 子供たちが手で操作する展示に興味を持ち、列を作って並んで遊んでくれた。動作が視覚的に分かりやすいと、関心を引きやすい。
- キューブ操作のグローブ利用: キューブを掴んでグローブのようにしてボール型ロボットを間接的に動かす楽しみ方をした来場者が多かった。
- 展示への興味と再訪: 展示終了間際に、日中に遊んでいた男の子が「最後にこれを遊びたい」と言ってブースを再訪した。大きな展示や派手な動きに注目が集まる中、控えめで理解が難しいテーマのブースを気に入ってくれる子供がいたことは、とても心強く感じられる。
- 手操作のインタラクティブ体験: 手操作はタッチディスプレイに比べて、説明なしでも双方向での影響を体験できることが強み。来場者は自由に現実空間と仮想空間に影響を与えることが可能で、これにより、よりダイナミックなインタラクションが促される。
- タッチディスプレイの限定的な体験: タッチディスプレイでは、インタラクションがキューブを積むような単一の活動に集中しがち。しかし、手操作を利用することで、より自由な遊びが可能になり、来場者が自ら遊びを考案する余地が増える。
問題点
一方で、展示で問題が見つかった点もいくつかあります。
- 説明が必要な展示: 展示の内容が説明なしでは理解しづらいが、説明を聞くと面白く理解できるという意見があった。
- モーターの故障: モーターが2個故障したため、予備のモーターを増やす。
- 球体型ロボットの消耗問題: 球体型ロボットの動作が人間ベースからデジタルツインベースに変わり、消耗が激しくなった。
- アプリの新トースト機能: 複数端末で接続時にトースト機能が挙動不審になるので、展示中は機能をオフにし、デバッグ時のみ使用する。
- 複数処理問題: 複数処理モードではないのに、複数の処理が発生した。
- 仮想物体とロボットの反応不良: 仮想物体が現実のロボットに当たった際に反応しない場合があった。
- Bakeのパフォーマンス: NavMeshのBake処理が重かったため、Bakeインターバルの設定を再度見直す。
- デバイスの誤認識: 他のESPデバイスが認識されることがあった。
- LeapMotion2のケーブル問題: ケーブルの接続不良でサーバーとの認識が頻繁に失われた。
- Macbookの接続問題: Macbookがロックされても接続が解除されないことがあった。
- 手の検出のシビアさ: 手の侵入角度が人によって異なるため、検出がシビアであった。
- Macbook Airの充電問題: 充電が停止する問題が再発。再起動で解決するが、原因を特定する。
- 長時間の無休憩: 朝から夕方まで6時間休憩なしで展示を行ったため、間食の準備が役立った。トイレ休憩できなかった。
- 方位角度ラベルの不具合: 方位角度の表示スイッチが機能しない問題があった。
- 方位角度の滑らかな表示: 方位角度の数値表示を滑らかにするために別のフィルタを試す。
- Macbook Airの充電問題: Macbook Airが突然充電を停止する問題が発生。
- ネット接続問題: 会場で楽天モバイルの接続が取れず、ネット接続が困難だった。
- LeapMotion 2の接続問題: ハブ経由での接続時にGeminiが推奨しないというエラーが発生し、正常に接続状態が表示されないことがあった。
- iPhoneアプリの接続問題: iPhoneアプリからの接続が突然できなくなることがあった。
トライすること
次の取り組みで、今後の展示を改善する計画です。
- LeapMotionの接続ステータスの詳細化: LeapMotionの接続ステータスをより細かく表示し、問題発生時の迅速な対応を可能にする。
- 引っ張りモードの追加: LeapMotionでボール型ロボットを引っ張ったり持ち上げたりする機能を追加。
- 指定位置への移動機能: 球体型ロボットを指定した場所に動かす機能を実装。
- オブジェクトの迅速な配置変更: 複数オブジェクトを素早く切り替えて配置できる「マイクラ式ランチャー」の導入。
- LeapMotionの接続状態表示機能: 接続状態をより詳細に表示する機能を追加。
- デジタルツインモードの導入: デジタルツインの状態をより理解しやすくするためのモードを提供。
- カメラ操作の改善: カメラオフとワイヤーフレーム表示を素早く切り替えられる機能を実装。
まとめ
Maker Faire Kyoto 2024での展示は、多くの来場者との交流を通じて新たな洞察と学びを得ることができた貴重な機会でした。私のプロジェクト「Boundary Blur：球体型ロボットと複合現実を活用したマルチエージェントシステム」に対する反応は全体的にポジティブで、特に相性が悪いと考えてた電子工作愛好家や若年層からの関心が高かったことは、今後の展示内容の方向性に大いに役立ちます。
技術デモンストレーションと参加者の反応
展示では、物理とデジタルが融合したインタラクティブな体験を提供しました。LeapMotion 2を導入したことで、来場者は直感的な手の動きと視覚だけでロボットを操る新しい方法を体験でき、これが特に子供たちに好評であったことは、デモンストレーションの成功を示しています。ただし、展示の正確な理解には詳しい説明が必要であり、技術的な内容をよりアクセスしやすくするための工夫が今後の課題です。
技術的問題とその解決策
一方で、モーターの故障やアプリの不具合など、いくつかの技術的な問題に直面しました。これらの問題は、展示の進行に一定の支障を来たしましたが、それに対処する過程での急場の対応や事前の準備の重要性を再認識しました。特に、予備のモーターを増やす、アプリの安定性を高める、そして接続問題の事前チェックを徹底することが次回に向けての重要な改善点です。
展示の影響と未来への展望
このイベントを通じて、私のプロジェクトが提示する「物理とデジタルの融合」というコンセプトは、多くの来場者に新たな視点を提供しました。特に、現実と仮想の境界を曖昧にすることで生じるダイナミックなインタラクションは、教育やエンターテインメントの分野での応用可能性を示唆しています。今後は、このプロジェクトをさらに発展させ、より広範なオーディエンスに向けて展示を行うことで、技術の普及と理解を深めることを目指します。
総じて、Maker Faire Kyoto 2024は私の技術的な能力だけでなく、プレゼンテーションとパブリックエンゲージメントのスキルを磨く機会となりました。参加者からのフィードバックは今後のプロジェクトの改善に不可欠であり、これを基に更なる技術革新を進めていく所存です。今後もこの学びを活かし、より多くの人々に技術の魅力を伝えていくことが私の使命であり、次のステップへの大きな動機となっています。
