音と画像を活用したロボット粉体粉砕に関する研究をIROS2023で発表します
オムロンサイニックエックスと大阪大学小野研究室の共同研究において、材料科学自動化のための、ロボット粉体粉砕に関する論文が、2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2023)に採択されました。
Yusaku Nakajima, Masashi Hamaya, Kazutoshi Tanaka, Takafumi Hawai, Felix Wolf Hans Erich von Drigalski, Yasuo Takeichi, Yoshitaka Ushiku, and Kanta Ono, “Robotic Powder Grinding with Audio-Visual Feedback for Laboratory Automation in Materials Science” [paper] [project page]
本稿では、第一著者である大阪大学 D1の中島優作さんに本研究の解説を行っていただきます。
研究背景
大阪大学の中島と申します。私は材料科学分野の研究に取り組んでいます。材料というと皆さんが使われているスマホやパソコンのディスプレイやバッテリー、自動車など生活のあらゆる場面で使われており非常に身近なものです。しかし材料開発の現場では、単純作業の繰り返しや再現性が人に依存してしまうといった課題が多々あります。我々の研究室では、ロボットを活用することでこのような材料科学実験の課題解決ができると考え、研究に取り組んでいます。
昨年のIROS 2022では、粉体粉砕を自動化するためのロボットシステムを提案しました。電池やセラミックスといった固体材料合成では、試薬の接触面積が化学反応の効率に大きく関わります。そのため、材料の品質管理や性能を引き出すために、粉体粉砕は非常に重要な工程となります。従来は経験に基づいた粉砕が行われており、場合によっては2時間以上かけて粉砕することもありました。このような状況を解決するために、手作業の粉砕に使われる乳棒と乳鉢を用いた粉体粉砕ロボットシステムを開発しました。
IROS2023では、この粉体粉砕ロボットシステムに大きな改良が加えられました。
特に大きな違いとしては、以前行っていたカメラによる視覚情報のフィードバックに加えて、今回は超音波マイクを用いた音響情報のフィードバックも統合しています。これは、人間の経験則である粉砕音を活用して効率的な粉砕を行っていることにインスパイアされたものになります。
本研究の内容を以下にまとめます。本研究では、視覚フィードバックシステムの改善手法の提案、音響フィードバック手法の提案、また視覚と音響の両方を取り入れたマルチモーダルフィードバックシステムの粉砕効率の検証を行いました。本手法を用いることで、多角的な情報を用いた効率的な粉体粉砕が実現できます。詳細を以下で解説します。
視覚フィードバックの改善
以前のロボットシステムでは、カメラをアームの手先に取り付けていたため、乳鉢内部の粉を観察する際にアームを動かす時間が粉砕効率のロスとなっていました。今回提案した手法は、カメラをロボットの手先ではなく作業テーブルに設置し、内部を常に観察しています。この場合、当然ではありますが粉砕中は乳棒が粉を隠してしまい観察が上手くできません。そこで、乳棒で粉を隠してしまっても観察が可能な手法を提案しました。
以下に提案手法の説明図を示します。アイデアは非常にシンプルです。乳棒は粉を隠してしまいますが、よく考えると粉の一部は常に見えています。そこで、一部だけが見えている画像を時系列順に重ね合わせることで粉全体が見えると考えました。図の下部がある一瞬の画像、上部が時系列順に重ね合わせたものです。下部の画像では乳棒で粉が隠れてしまって見えないものの、上部の画像では粉全体が見えています。よって、本手法を活用することで粉砕中に常に粉の状態を観察することが可能となりました。実際の粉砕では、画像処理後に楕円のフィッテイングを行い、得られた楕円の径の大きさをロボットの粉砕動作の円運動に反映させています。
音響フィードバックを用いた粉砕の効率化
視覚を用いたフィードバックは乳鉢内での粉の分布の情報を提供しますが、粉がどれくらい粉砕されたかと粉体粒子サイズの情報はありません。その弊害として、例えば視覚情報のみを用いた場合は、現在粉砕している場所が既に十分粉砕されているにも関わらず粉砕を続けてしまうことがあり、粉砕効率の低下につながります。そこで、音響情報の活用が有効となります。音響情報から粉体が十分粉砕されたことが分かれば、非効率な粉砕を減らすことができます。
そのために、まずは粉砕音の解析を行いました。上図は粉砕時の音響の大きさを周波数ごとに表示したものです。時間は粉砕時間になります。全体として粉砕が進行すると音響の大きさが小さくなっていることが分かり、これを音響フィードバックに用いました。また、音響フィードバックには粒子径の情報が多く含まれる点線の間の周波数のみ用いました。これは、低周波数領域では環境音のノイズが入る可能性があり、高周波数領域ではシャープなピークが多く乳棒と乳鉢の固有振動が多く含まれると考えたからです。実際の粉体粉砕では得られた音響の大きさと事前に設けた閾値を用いて、閾値より大きい場合は粉砕を続け、閾値を下回ると粉を集める動作をする、という動作判断を行っています。
実験結果：視覚フィードバックと音響視覚フィードバックの比較
以上説明してきた音響と視覚フィードバックの効果を確かめるために、粉砕結果の比較を行いました。本実験では材料として塩を粉砕し1000μm, 500μm, 250μm, 100μm, 20μmの5つの目のふるいで大きさごとに粉を分け、それぞれの重さを測定しました。その結果が以下になります。
グラフの縦軸は積算重量分率であり、No.1からNo.6が各実験条件になります。論文中では先ほど紹介した視覚と音響以外の実装改良も行っており、その結果がNo.2からNo.4になります。ここでは視覚と音響フィードバックの結果であるNo.5とNo.6に着目して説明します。黒い枠で囲ってあるのは、材料科学の実験に置いて実用的な粒子径である250 μm以下の粉の割合を示しています。視覚フィードバックのみを行ったNo.5のグラフが250μm以下の割合が68%であるのに対して、視覚と音響のマルチモーダルフィードバックを用いたNo.6では80.5%となりました。以上のことから、音響フィードバックが粉体粉砕に効果的であることが確認されました。
まとめと今後の展望
本研究の貢献は以下の通りです。
- 視覚フィードバックを改良し、乳棒で隠されていても乳鉢内の粉の分布を推定できるシステムを提案しました。
- 粒子径の情報を粉体粉砕システムに取り入れるため、音響フィードバックの活用を提案しました。
- 視覚と音響のフィードバックによって、視覚フィードバック単体よりも粉砕効率が向上することを確認しました。
今回の研究成果を用いることで、ロボットによる粉体粉砕をさらに効率的に進めることが可能となりました。今後は本ロボットシステムを用いた材料合成を予定しており、ロボティクスの応用によって材料科学の発展に貢献できればと考えています。
中島さんご解説ありがとうございました。OSXでは今後も自動化におけるニーズ・課題を抽出し、社会実装につなげる研究を進めていきたいと思います。
