マルチモーダルな人間-ロボットインタラクションシステムに関する新たな研究では、制御されたアブレーション実験により、3つの重要なモジュールが全体の性能に与える影響を系統的に評価しました。この研究はZi Tian氏とGuanting Shen氏によって行われ、将来のシステム最適化のための定量的根拠を提供することを目的としています。
研究チームは、以前開発したマルチモーダルな人間-ロボットインタラクションシステムを基に、エンドツーエンドの性能に最も影響する3つのモジュール、すなわち人間の指示から行動を抽出する大規模言語モデル（LLM）、視覚接地を担当する知覚システム（異なる構成）、および把持などの運動タスクを実行するコントローラを選びました。実験は2段階で実施されました。最初の段階では、3つのLLM、5つの知覚構成、3つのコントローラを個別に比較し、続いて最良の候補を選んで全因子組み合わせ研究を行いました。
第1段階の結果は、各モジュールが実行時間と成功率に独立して寄与することを明らかにしました。例えば、ある知覚構成は精度で優れるが時間がかかり、軽量なLLMはリアルタイム性で優位性を示しました。第2段階では、組み合わせ最適化により、全体的に最良のシステム構成が特定されました。例えば、成功率を維持しつつ実行時間を最小化する組み合わせなどです。
研究者は、この作業の目的はパイプライン全体を再設計することではなく、各コンポーネントの貢献を分離し、工学的改善の明確な方向性を提供することにあると強調しています。例えば、速度向上が目標ならコントローラの最適化が優先され、成功率を追求するなら知覚システムの視覚接地能力に注目すべきです。また、特定のLLMは複雑な指示の理解に優れるが、推論遅延が増加することも判明しました。
本研究はarXivで公開されており、論文番号は2605.00963、ロボティクスと人工知能の交差領域に属します。研究はサイモンズ財団、会員機関、および全貢献者の支援を受けています。