跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

Sentinel-VLA:一种带有主动状态监控的元认知VLA模型,用于动态推理和错误恢复

文章摘要

Sentinel-VLA是一种元认知视觉-语言-动作(VLA)模型,通过主动的“哨兵”模块监控执行状态,仅在需要时触发推理或错误恢复,从而在降低计算开销的同时实现鲁棒决策。模型使用自动生成的44个任务、超过260万次转换的数据进行训练,并采用自演进持续学习(SECL)算法和正交持续适配器(OC-Adapter)防止灾难性遗忘。实际实验表明,其任务成功率比当前最优模型PI0提高30%以上。所有代码、权重和数据生成流程将开源。

来源arXiv Robotics作者: Wenhao Li, Xiu Su, Yichao Cao, Hongyan Xu, Xiaobo Xia, Shan You, Yi Chen, Chang Xu
Sentinel-VLA:一种带有主动状态监控的元认知VLA模型,用于动态推理和错误恢复
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

视觉-语言-动作(VLA)模型在具身操作领域取得了显著进展,它们利用广泛的世界知识和强大的泛化能力,使机器人能够理解和执行复杂的操作任务。然而,当前的VLA模型仍然面临几个关键挑战:推理能力有限、缺乏对执行状态的实时监控、以及难以在出错时进行自我修正。为了解决这些问题,来自中国的研究团队提出了Sentinel-VLA——一种具备元认知能力的VLA模型。

Sentinel-VLA的核心创新在于其主动的“哨兵”(sentinel)模块。该模块持续监控机器人的实时执行状态,但仅在必要时才触发模型进行动态推理或制定错误恢复方案。例如,在初始规划阶段,哨兵模块会激活推理来生成动作序列;当检测到执行过程中出现异常或错误时,它会唤醒模型进行错误分析和恢复。这种按需推理机制确保模型在绝大多数时刻保持静默,从而大幅降低了计算开销,同时保证了决策的鲁棒性。

为了训练Sentinel-VLA,研究团队设计了一套全自动的数据生成和标注流水线。该流水线能够自动构建涵盖44个不同操作任务的训练数据,总计超过260万次状态-动作转换。这些数据不仅数量庞大,而且具有高度多样性,涵盖了各种物体、场景和操作要求。

针对持续学习中的灾难性遗忘问题,团队提出了自演进持续学习(Self-Evolving Continual Learning, SECL)算法。SECL允许Sentinel-VLA自主识别自身能力的边界,并自动收集新的数据来扩展其技能。同时,正交持续适配器(Orthogonal Continual Adapter, OC-Adapter)将参数更新限制在正交子空间中,从而有效防止了学习新任务时覆盖旧知识。

在真实世界的机器人操作实验中,Sentinel-VLA的任务成功率相比当时的最先进模型PI0提高了超过30%。这一提升在多种复杂任务上得到验证,包括精细操作、多步骤任务和需要错误恢复的场景。研究团队承诺将开源所有代码、模型权重以及数据生成流水线,以促进该领域的进一步研究和应用。

展开要点与分析

文章情报

工程师进阶

要点

  • Sentinel-VLA引入主动哨兵模块,实现按需推理和错误恢复。
  • 训练数据通过自动化流程生成,覆盖44个任务,超过260万次转换。
  • 自演进持续学习(SECL)算法结合正交持续适配器(OC-Adapter),防止灾难性遗忘。
  • 在真实世界实验中,任务成功率比PI0模型提升30%以上。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。