オープンボキャブラリの長期間操作では、ロボットは柔軟な指示を理解し、複数の物体が存在する複雑なシーンを扱いながら、適応的に計画・実行・監視し、失敗から回復する能力が求められる。この課題に対処するため、研究者らは視覚言語モデル（VLM）が異種のロボット機能を中断可能なツールとして編成する閉ループのエージェントフレームワークを提案した。
この設定は「物理オーケストレーション」と呼ばれ、仮想AIエージェントとの決定的な違いは、物理世界が推論のために停止しないという点にある。そのため、意思決定、行動、ツール呼び出しのタイミングが極めて重要になる。著者らはVoLoAgentを提案する。これはVLMであり、VLA/WAMモデルを中断可能なツールとして扱い、ロールアウトの途中でリアルタイムに誘導しながら、視覚モデルや動作プリミティブを協調的に呼び出す。これにより、長期間タスクにおいて動的に行動を調整でき、一度きりの計画に依存しない。
長期間能力を評価するため、研究チームはRoboVoLoベンチマークを構築した。これは常識、記憶と状態追跡、複雑な参照、世界知識といった次元をカバーする、高忠実度のオープンボキャブラリ長期間操作テストプラットフォームである。このベンチマークはタスクレベルの成功率だけでなく、失敗モードの診断も提供し、システムの弱点を詳細に分析できる。実験の結果、VoLoAgentは単一のVLA/VLMシステムやツールベースのシステムを大幅に上回る性能を示し、実ロボット実験でも検証された。
論文の著者はSiyi Chen、Hugo Hadfield、Alex Zook、Mikaela Angelina Uy、Chan Hee Song、Erwin Coumans、Xuning Yang、Faisal Ladhak、Qing Qu、Stan Birchfield、Jonathan Tremblay、Valts Blukisであり、2026年6月5日に提出された。ロボティクス（cs.RO）分野に属し、プロジェクトページではデモや詳細が公開されている。