在开放词汇长时程操作任务中，机器人需要理解灵活指令、处理复杂多物体场景，并具备自适应规划、执行、监控与故障恢复的能力。传统方法通常依赖单一的视觉-语言-动作（VLA）模型或预定义工具集，难以应对这些综合挑战。为此，研究者提出了一种闭环智能体框架，其中视觉语言模型（VLM）作为中央编排者，将异构机器人能力组织为可中断的工具。
该工作将这一设定称为“物理编排”（Physical Orchestration），其核心区别于虚拟AI智能体的地方在于：物理世界不会为推理而暂停，因此决策、动作与工具调用的时序至关重要。基于此，作者提出了VoLoAgent，一个VLM智能体，它能够规划、监控并从失败中恢复。具体而言，VoLoAgent将VLA/WAM模型视为可中断的工具，在模型推理的中间阶段（mid-rollout）进行实时引导，并协同调用视觉模型和动作原语。这种机制允许系统在长时程任务中动态调整行为，而非依赖一次性规划。
为了系统评估长时程能力，研究团队构建了RoboVoLo基准，这是一个高保真度的开放词汇长时程操作测试平台，涵盖常识、记忆与状态跟踪、复杂指代以及世界知识等维度。该基准不仅衡量任务级成功率，还提供失败模式诊断，有助于深入分析系统短板。实验结果表明，VoLoAgent在多项指标上大幅超越单一VLA/VLM系统或基于工具的系统，并在真实机器人实验中得到了验证。
该论文的作者包括Siyi Chen、Hugo Hadfield、Alex Zook、Mikaela Angelina Uy、Chan Hee Song、Erwin Coumans、Xuning Yang、Faisal Ladhak、Qing Qu、Stan Birchfield、Jonathan Tremblay和Valts Blukis，提交于2026年6月5日，属于机器人学（cs.RO）领域。项目页面提供了更多演示和细节。