大規模な視覚言語データで訓練された言語モデルは、実体エージェントとしての強い可能性を示している。エンドツーエンドの視覚-言語-行動システムとは異なり、実体ツール使用を通じてモデルを活用するアプローチは、高レベルの推論と知覚・計画・制御のための外部モジュールを組み合わせることで、有望な代替手段を提供する。しかし、実体操作において効果的なハーネスとは何か、そしてそのようなハーネスが幅広い推論モデルの実体能力をどの程度引き出せるのかは、依然として明らかではない。
そこでarXiv論文「Guava: An Effective and Universal Harness for Embodied Manipulation」は、エージェントワークフロー、行動空間、観測空間の設計空間を系統的に探索することによって開発された、実体ツール使用のためのハーネスフレームワークGuavaを提案する。この研究は、効果的な実体エージェントを構築するための3つの重要な要素を特定した:反復的な知覚-推論-行動ループ、意味的行動抽象化、マルチモーダル観測である。
これらの設計原則が小規模モデルにも普遍的に適用できるかどうかを探るため、著者らはエンドツーエンドの訓練パイプラインを開発した。このパイプラインは、完全にシミュレーション内で収集された2,000未満の軌跡を用いて、実体操作能力を4Bパラメータのオープンソースモデルに蒸留する。シミュレーションと実環境の両方での実験結果は、このモデルがフロンティアの専有モデルに匹敵する性能を達成し、未知の物体、新しい指示、長期的タスクに対して強い汎化能力を示すことを明らかにした。
これらの結果は、よく設計されたハーネスがスケーラブルでモデルに依存しない実体操作のインターフェースとして機能し、コンパクトなオープンソースモデルが最小限の訓練データで強力な実体能力を創発的に獲得できることを示唆している。本研究はHaowen Liu氏ら8名の著者によって2026年6月16日に提出され、ロボティクス(cs.RO)および人工知能(cs.AI)の分野に属する。