群衆密度予測に関する論文がIEEE Robotics and Automation Letters (RA-L) に採録されました

オムロンサイニックエックスで実施された、映像中における群衆の密度予測に関する研究が、IEEE Robotics and Automation Letters (RA-L) に採録されました！

Hiroaki Minoura, Ryo Yonetani, Mai Nishimura, and Yoshitaka Ushiku, “Crowd Density Forecasting by Modeling Patch-based Dynamics”, IEEE Robotics and Automation Letters, 2020 [IEEE Xplore] [YouTube]

RA-Lは2015年に新設された査読有りレター論文誌で、ロボティクスに関する革新的な研究結果や応用結果がタイムリーに出版されています。本論文は中部大学機械知覚&ロボティクスグループからのインターンである箕浦 大晃さんとの成果です。本記事の後半には箕浦さんからいただいたメッセージも掲載しています。

研究の背景

人々が将来どのように移動するかを予測できれば、モバイルロボットや自動運転車、ドローンの安全な移動に役立つことが期待されます。

ある環境において人々がどのように移動しているかの解析は、防犯やマーケティング、人々の安全な移動の支援といった様々な応用場面を支える重要な基礎技術です。特に近年のコンピュータビジョン（CV）・機械学習分野では、映像に映る人々の過去数秒の移動軌跡をもとに、その後数秒にわたってその人々がどのように移動するかを予測するという、軌跡予測（trajectory forecasting）という技術が盛んに研究されています。軌跡予測技術が成熟すれば、モバイルロボットや自動運転車の経路計画、ドローンの安全な着陸など、人とロボットが共存する近未来において重要な役割を果たすことが期待されます。

群衆密度予測

軌跡予測に関する既存研究の多くは、

1. 映像中から人物を検出・追跡することで同人物の過去〜現在にわたる軌跡を生成し、
2. その軌跡をリカレントニューラルネットのような系列データを扱う機械学習モデルに入力することで、現在〜将来にわたる軌跡を予測する

というアプローチをとります。そのなかで、すれ違う人々やグループで行動する人々がどのような移動軌跡をとりうるのか、あるいは道路や壁といった環境情報が軌跡にどのような影響を与えるのか、といった課題が盛んに研究されてきました。しかしながら、混雑した環境において各個人を安定して検出・追跡することは難しく、またそれゆえに既存の軌跡予測技術を活用することも難しいという課題がありました。

群衆密度の予測。過去数フレームにおける群衆密度マップを入力とし、その後数フレームにわたって密度マップがどのように変化するかを予測します。

これに対して本研究では、モバイルロボットのナビゲーション等特定の応用場面においては「将来どこにフリースペースがあるか」が重要であり、必ずしも個々人の正確な位置を予測する必要がないということに着目し、将来どこが混雑するかを予測する「群衆密度予測」という新しい問題に取り組みました。そして同問題に対して、

1. 映像中のどこが混雑しているかという群衆密度マップを映像フレームごとに推定し、
2. 過去〜現在における群衆密度マップの履歴を系列モデルに直接入力することで、現在〜将来の群衆密度マップを予測する

というアプローチを提案しました。群衆密度の推定はCV分野において軌跡予測と同様盛んに取り組まれている研究課題であり、映像フレーム中において人々が小さく隠蔽しながら映り込む状況であっても、混雑箇所を大まかに見つけることができます。一方で映像フレームが持つ時系列変化の予測もまたCV分野の古典的課題であり、近年深層学習の発展にともなって強力な予測モデルが提案されています。特に本研究では、畳み込みニューラルネット（CNN）を時間方向に拡張した時空間CNNを用いることで、個々人の検出と追跡をベースとした既存の軌跡予測手法と比較して高精度に将来の群衆密度を予測できることを確認しました。

本研究で用いた時空間畳み込みニューラルネットワーク

結果の一部は以下の動画からもご覧になれます。

箕浦さんからのコメント

インターンの箕浦さんは深層学習を用いた経路予測技術に精通しており、関連研究会でサーベイ発表もされている方です。

本論文の出版にあたって、箕浦さんよりインターンプログラムに関してコメントをいただきました。

中部大学機械知覚&ロボティクスグループ所属の箕浦です。歩行者や自動車の軌道予測を中心に研究をしています。

オムロンサイニックエックス（OSX）のインターンプログラムは、機会があり研究MTGをさせて頂いた際に知りました。私はCV分野の最先端を研究されている研究者方々の考え方や技術力を学べる機会だと思い、自分のスキル向上を目的に応募しました。OSXは作業をする「静」のスペースとMTG等を行う「動」のスペースの2つに分かれています。基本的には静のスペースで研究をするのですが、気分転換したい時に動のスペースでおしゃれなカフェ気分で研究していました。MTGは技術的なアドバイスや今後の研究の方針などを中心に週1で行っていました。もちろん、疑問や困っていることがあればいつでも相談することができたので、非常に風通しの良い環境で研究できました。

最後になりますが、OSXインターンプログラムでは貴重な経験を学ばさせていただきました。研究意欲のある人かつ研究者の働き方を直接学びたいという方にOSXインターンプログラムはお勧めかと思います。本当にお世話になりました。

今後の取り組み

オムロンサイニックエックスでは、実社会で人々と協調・共存して活動するロボットの実現を目指し、コンピュータビジョンと機械学習、ロボティクスに関する基礎研究を継続していきます。弊社でのインターシップにご興味のある方は、履歴書とともにinternships@sinicx.com までご連絡ください。

関連プロジェクト

• IROS’20にロボットナビゲーションに関する論文が採録されました