视觉-语言-动作(VLA)模型在具身操作领域取得了显著进展,它们利用广泛的世界知识和强大的泛化能力,使机器人能够理解和执行复杂的操作任务。然而,当前的VLA模型仍然面临几个关键挑战:推理能力有限、缺乏对执行状态的实时监控、以及难以在出错时进行自我修正。为了解决这些问题,来自中国的研究团队提出了Sentinel-VLA——一种具备元认知能力的VLA模型。
Sentinel-VLA的核心创新在于其主动的“哨兵”(sentinel)模块。该模块持续监控机器人的实时执行状态,但仅在必要时才触发模型进行动态推理或制定错误恢复方案。例如,在初始规划阶段,哨兵模块会激活推理来生成动作序列;当检测到执行过程中出现异常或错误时,它会唤醒模型进行错误分析和恢复。这种按需推理机制确保模型在绝大多数时刻保持静默,从而大幅降低了计算开销,同时保证了决策的鲁棒性。
为了训练Sentinel-VLA,研究团队设计了一套全自动的数据生成和标注流水线。该流水线能够自动构建涵盖44个不同操作任务的训练数据,总计超过260万次状态-动作转换。这些数据不仅数量庞大,而且具有高度多样性,涵盖了各种物体、场景和操作要求。
针对持续学习中的灾难性遗忘问题,团队提出了自演进持续学习(Self-Evolving Continual Learning, SECL)算法。SECL允许Sentinel-VLA自主识别自身能力的边界,并自动收集新的数据来扩展其技能。同时,正交持续适配器(Orthogonal Continual Adapter, OC-Adapter)将参数更新限制在正交子空间中,从而有效防止了学习新任务时覆盖旧知识。
在真实世界的机器人操作实验中,Sentinel-VLA的任务成功率相比当时的最先进模型PI0提高了超过30%。这一提升在多种复杂任务上得到验证,包括精细操作、多步骤任务和需要错误恢复的场景。研究团队承诺将开源所有代码、模型权重以及数据生成流水线,以促进该领域的进一步研究和应用。