CoRL2020でSim-to-Realに関する研究を発表しました(インターンレポート)
OMRON SINIC X シニアリサーチャーの濱屋と申します。
弊社で取り組んでいる、多様な物体操作のSim-to-Real転移学習に関する研究が、Conference on Robot Learning (CoRL 2020)に採択されました(採択率34%)!
Takayuki Murooka, Masashi Hamaya, Felix von Drigalski, Kazutoshi Tanaka, Yoshihisa Ijiri, “EXI-Net: EXplicitly/Implicitly Conditioned Network for Multiple Environment Sim-to-Real Transfer.” [paper]
この研究は、弊社インターンの室岡貴之さんによって行われた研究です。室岡さんは、東京大学情報システム工学研究室(JSK)に所属しており、ヒューマノイドロボットによる道具操作に関する研究をされています。現在彼は修士2年ですが、数多くの主著論文を持ち、ロボット分野トップレベル国際会議(IROS, Humanoids)でBest paper award finalistを受賞するなど、恐るべき経歴を持っています!
今回は、室岡さんに本研究の紹介や、CoRL会議レポート、論文執筆時における弊社のインターン環境紹介を行っていただきたいと思います。
目次
— — — — — — — — — — — — — — — — — — — — — — — — — — — — — — —
1. 研究の概要
OMRON SINIC Xインターンの室岡です。今回CoRL2020では、多様な環境下におけるSim-to-Realに関する発表をしました。Sim-to-Realとは、シミュレーション環境でロボットが学習した内容を現実の環境に適用することで、現実世界での実機の学習を減らすことができる手法です。しかし、Sim-to-Realを幅広いタスクに適用するためにはまだまだ課題があり、中でも従来のSim-to-Realは複数個の実世界の環境にしか対応できないという問題があります。そこで、多様な実世界の環境下でもSim-to-Realを適用可能にするための手法を提案しました。
タスクの学習時に、タスク実行のための方策のみではなく、その環境下での環境情報として、ダイナミクス変数も学習します。このダイナミクス変数は、物体質量や床との摩擦係数等の簡単に数値化できる明示ダイナミクス変数と、物体形状のような数値化しにくい暗示ダイナミクス変数に分けられ、それぞれ適切な方法で学習されます。そして、シミュレーション環境にて、環境情報を多様に変えながら、タスクのための方策とこれらのダイナミクス変数を学習します。現実世界でのタスク実行時には、ダイナミクス変数の推定と、そのダイナミクスの情報を考慮した方策による動作の計算が行われ、現在の環境により適したタスク実行が可能となります。
本論文では、ロボットが物体を押して目標の位置姿勢まで運ぶ、物体押しタスクに適用し、多様な物体のダイナミクス・形状を考慮しながら物体押しタスクが実行できていることを確認するとともに、従来の研究でよく使われてきた再帰型構造のネットワークより性能が高いことを検証しました。
本手法は、モデル予測制御のコンセプトを学習ベースにした方策を用いていますが、本手法のダイナミクス変数の学習・推論を強化学習等の他の方策にも適用できる形で定式化することが今後の展望として挙げられます。また、適用するタスクに関しても、物体押しタスクのみではなく、他のタスクでも検証することで、本手法の幅広い適用性を示すことができると考えます。
2. CoRL会議レポート
CoRL2020は当初はアメリカMITで行われる予定でしたが、残念ながらCOVID-19の影響でオンライン会議となりました。ICRA2020やIROS2020等他のオンラインのロボティクス会議とは異なり、CoRL2020は現地時間にてリアルタイムで会議が進められ、私の発表はインタラクティブ形式でした。
レベルの高い発表ばかりで最初はとても緊張しましたが、OMRON SINIC Xのメンバの手助けもあって、活発なセッションになったと思います。ロボット学習分野で有名な先生もいらっしゃり、本研究に興味を持っていただきました。そこからたくさんの質問をいただき、とても楽しく刺激的な時間を過ごしました。
また、以前オーストラリアからOMRON SINIC X にインターンとして研究開発に来ていた学生も、論文がCoRLに採択されていたのですが、私のセッションにて久しぶりの再会をし、近況報告をするなどとても良い思い出となりました。このような貴重な経験の機会を与えたくださったOMRON SINIC Xには感謝しかありません。
3. OMRON SINIC Xのインターン環境
ロボティクス分野の国際会議の中でも競争が激しいCoRLに論文を通せたのは、間違いなくOMRON SINIC Xの研究者の方々から沢山の指導があったからだと思います。特に、論文のレビューは多くの方々から他方面に渡る修正案をいただき、とてもクオリティが高い論文に仕上がりました。
ロボティクス分野で長期の研究開発が行えるインターンシップは国内では珍しいですが、研究開発が好きな学生にはとてもオススメできる内容です。特にOMRON SINIC Xでは、基本的にインターン生がやりたい研究を進めることができ、今回のCoRLのテーマも私が実装・実験したいと思った内容をみんなでブラッシュアップしていき、論文投稿・学会発表まで至りました。研究以外にも開発に関するテーマもあり、ロボットによる組み立て作業などのより実用的な内容も選ぶことができます。オフィスの実験環境も、複数台のアームロボットに加え、モーションキャプチャや3Dプリンタなど、研究開発に欠かせない機材は一通り揃っており、スムーズに実験を進めることができました。更にインターンとして給料を貰えるため、研究開発にやる気がある学生にはもってこいの会社だと思います。
— — — — — — — — — — — — — — — — — — — — — — — — — — — — — — —
室岡さん、丁寧な解説どうもありがとうございました。弊社は、室岡さんをはじめとする、たくさんの優秀なインターンの方々に支えられています。私たちも、論文執筆や研究の進め方に関する議論を提供することで、インターンの方々のキャリアアップに貢献できれば幸いです。
弊社インターンシップでは、Robotics, Machine Learning, Computer Visionなど、幅広い分野で募集しております。また、インターン後もアルバイト等の枠組みで継続的に研究開発に関わっていただくことも可能です。興味のある方はぜひinternships@sinicx.comにご連絡ください! 詳細はこちらからもご覧いただけます[Robotics] [CV]。
