跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

EvoScene-VLA:在动作解码器内进化场景信念,实现分块机器人控制

文章摘要

EvoScene-VLA 提出一种持久化的场景状态,在分块视觉-语言-动作策略的控制调用之间携带并更新场景几何信息,从而在 RoboTwin 基准和真实机器人上提升成功率。

来源arXiv Robotics作者: Chushan Zhang, Ruihan Lu, Jinguang Tong, Xuesong Li, Yikai Wang, Hongdong Li
EvoScene-VLA:在动作解码器内进化场景信念,实现分块机器人控制
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

视觉-语言-动作(VLA)模型在机器人控制领域正变得日益重要,尤其是能够预测多步动作的“分块”策略。这类策略在每次更新时仅依据当前视觉观测来生成后续动作序列。然而,机器人的动作本身会引起接触、遮挡和物体移动,导致后续决策所依赖的几何关系在下次视觉更新到来之前就已发生变化。空间 VLA 改进了当前帧的几何感知,时间 VLA 则聚合过去帧的信息,但两者都没有在动作块之间维持一个由动作更新过的场景先验。

针对这一问题,研究者提出了 EvoScene-VLA。其核心思想是在连续的控制调用之间保持一个持久化的、由动作更新的场景状态。具体而言,该方法引入了一个循环场景前缀,携带跨动作块的几何感知场景状态。每当视觉-语言模型(VLM)被调用时,它会将当前观测中的场景信息与来自上一个动作块的、经动作更新的先验相结合。动作解码器不仅输出下一个动作块,还输出一个紧凑的场景更新。这个更新成为下一个先验,并在下一次 VLM 调用时根据新的观测进行修正。因此,每次控制调用都从一个既反映近期动作又包含最新视觉证据的场景先验出发。

在训练阶段,该方法使用两个辅助模块:场景预测器(Scene Predictor)提供未来场景 token 的监督目标,几何锚定(Geometric Anchor)则将场景槽位与冻结的深度和 3D 教师模型对齐。这两个模块仅在训练时使用,部署时被丢弃,不会增加推理开销。

实验方面,作者在 31 个 RoboTwin 任务上进行了评估。在固定评估设置下,EvoScene-VLA 将平均成功率从 87.2% 提升至 89.1%;在随机化评估设置下,成功率从 86.1% 提升至 88.5%。此外,在 Galaxea R1-Lite 真实机器人平台上,EvoScene-VLA 的表现优于所有基线方法。

该论文提交于 2026 年 5 月 21 日,作者为 Chushan Zhang 等六人,属于机器人学(cs.RO)和人工智能(cs.AI)交叉领域。这项工作强调了在分块机器人控制中维护动作更新场景先验的重要性,为后续研究提供了新思路。

展开要点与分析

文章情报

工程师进阶

要点

  • 现有分块 VLA 策略仅依赖当前观测进行更新,缺乏跨动作块的场景先验。
  • EvoScene-VLA 通过循环场景前缀在 VLM 调用间传递几何感知的场景状态,并由动作解码器输出场景更新。
  • 在 31 个 RoboTwin 任务中,固定评估成功率从 87.2% 提升至 89.1%,随机化评估从 86.1% 提升至 88.5%。
  • 在 Galaxea R1-Lite 真实机器人上,该方法优于所有基线。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。