シミュレーションからロボットによる粉体秤量を学習する研究に関してIROS2023で発表します
本研究は、ロボティクス分野のトップ会議の一つである、2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2023)に採択されました (採択率43.3%)。
Yuki Kadokawa, Masashi Hamaya, Cristian Beltran-Hernandez, and Kazutoshi Tanaka, “Learning Robotic Powder Weighing from Simulation for Laboratory Automation” [paper] [code]
第一著者である角川勇貴さんは奈良先端科学技術大学院大学の博士課程の学生で、本研究は角川さんが弊社インターンシップとして行われた成果となります。本稿では、本研究の概要についてご紹介いたします。
背景
本研究は、科学実験自動化に向けたロボットによる粉体秤量の自動化に取り組みます。薬さじを使用して粉体を適量測るという粉体秤量作業は、大量のサンプルを作成する必要がある上、ミリグラム単位の精度が求められることがあり、手間のかかる作業であると言われています。
そこで、ロボットで粉体秤量を自動化することが期待されていますが、粉体の扱いはロボットにおいても挑戦的であると言えます。粉体の挙動は、粉体の物性(流動性など)により大きく異なることが知られています。さらに、少量の秤量においては、ロボットは慎重かつ大胆な行動が求められます。例えば、ロボットが過剰に急峻に動いた場合、過剰に粉体を落とし、逆に、保守的に動いた場合、粉体を全く落とすことができないことが想定されます。これらの状況を考慮して、機械学習によるロボットの動作獲得が望まれますが、これは、実世界でのデータ収集は粉体が散乱し、環境の清掃に労力がかかることから現実的ではありません。
本研究は、シミュレーションから秤量動作を学習し、実世界に転移させることで、実世界におけるデータ収集にかかる労力を大幅に削減する手法を提案しました。我々は、秤量動作を獲得する問題を強化学習問題として考え、学習中に粉体のパラメータを乱択化するDomain Randomization (DR)という手法を使用して、シミュレーションと実世界の差を軽減しました。Sim-to-Realの転移学習においてDRは一般的に使用されていますが、我々は極めて単純なシミュレータから、ミリグラム単位の秤量を実現したことを初めて示しました。
問題設定
Fig. 1に本研究のロボットシステムを示します。ロボットには、薬さじが搭載されており、その薬さじで瓶にある粉体を掬ったり落としたりします。本研究では、5mgから15mgの範囲の質量を秤量することを目標とします。電子ばかりの上に粉体入りの瓶を置き、ロボットが掬い取った後の薬さじに盛られている粉体の質量を間接的に計測します。本研究は、ロボットが薬さじを振ったり傾けたりして、薬さじの上にある粉体の質量をある目標質量にすることを考えます。
この設定は、提案手法の評価実験を効率的に行うために考えられたものであり、実際の粉体秤量の方法(掬い取った粉を秤量皿に落とし粉の質量を計測する方法)とは異なります。しかし、この設定においても粉の質量をどのように調整するかという重要な問題に取り組むことができます。
粉体秤量学習
粉体秤量動作を獲得するため、我々はSoft Actor-Critic (SAC)というモデルフリー強化学習手法を使用しました。さらに我々は方策と価値関数のネットワークにa long short-term memory (LSTM)を使用し、粉体の時系列情報を考慮しました。これは、秤量の際の慎重かつ大胆な行動をとるために役立ちます。例えば、ある時間でロボットが粉体を大量に落とした場合、次の時間ではロボットの行動が抑制され、逆に、粉体が全く落ちない場合、ロボットの行動が次第に大きくなることが期待されます。
我々は粉体シミュレータをIsaac Gymで設計しました。薬さじの上に粉体を模した球体上の物体を多数生成し、目標の質量になるまでロボットが薬さじを振ります。球体や薬さじの衝突や摩擦のみを考慮した単純なシミュレータですが、DRと時系列を考慮した方策により、精密な秤量動作が可能となりました。DRにおいて、粉体同士の摩擦、粉体と薬さじの摩擦、質量、半径、初期の粉体の質量、薬さじを動かす速さ、重力を乱択化しました(Table I)。
実験
シミュレータで学習した方策を実世界に転移させる実験を行いました。我々は挙動の異なる4種類の粉体(小麦粉、塩、活性炭、米粉)を使用しました。Table IIに秤量の誤差を示します。実験の結果、平均で0.1–0.2 mgの誤差で秤量ができることを確認しました。
結論
本研究は、シミュレータから秤量動作を学習し、実世界でも精密な秤量動作を実現する手法を提案しました。本手法により、粉体のサンプル作成に必要である労力が大幅に軽減されることが期待されます。我々のロボット運動学習技術に関して、技術相談や共同開発、共同研究に興味のある方はぜひご連絡ください(contact@sinicx.com)。
