跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

将三维点表示直接注入动作头,解锁VLA模型的空间与任务泛化能力

文章摘要

研究人员发现,视觉-语言-动作(VLA)模型在空间和任务泛化上存在脆弱性,而现有通过语言或视觉提示进行接地的表示方式效果有限。他们提出一个轻量级、模型无关的模块,将三维点表示的接地信号与夹爪的相对位移结合,通过自适应层归一化直接注入动作头。在LIBERO-PRO基准上,该方法将GR00T-N1.6在任务扰动下的平均成功率从31.2提升至77.5,在位置扰动下从28.1提升至60.2,并对π₀.₅取得类似增益,证明其骨干无关性。

来源arXiv Robotics作者: Shiang-Feng Tsai, Jin-Cheng Jhang, Yen-Ling Tai, Jia-Hong Lai, Shih-Yun Wong, KangTung-Hsu, Yi-Ting Chen
将三维点表示直接注入动作头,解锁VLA模型的空间与任务泛化能力
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

视觉-语言-动作(VLA)模型借助大规模视觉-语言预训练,实现了灵活的机器人操作能力,但在测试阶段仍有两个明显的脆弱点。其一是空间泛化:当物体位置与训练时所见不同,模型表现就会下降;其二是任务泛化:当熟悉的场景被配上与训练时不同的语言指令,模型同样容易失效。围绕这两个问题,已有越来越多方法尝试为策略注入空间与任务感知信息,例如用二维像素坐标来定位物体和放置位置。然而,来自 arXiv 2606.27663v1 的这篇论文指出,现有的通过语言提示或视觉提示进行的表征并未真正解决上述局限;相反,采用基于三维点的表征并将其直接送入动作头,能够带来显著提升,这说明关键并不只是引入 grounding 信号,而在于该信号以何种形式表征、以及如何注入 VLA。

基于这一发现,作者提出了一个轻量、与模型无关的模块。该模块将 grounding 信号表示为三维点,计算其相对于夹爪的位移,再通过自适应层归一化(adaptive layer normalization)把由此得到的空间嵌入直接注入动作头。整个模块只是一个两层 MLP,不需要修改 VLA 主干网络,也不需要改动预训练流程,因此可以方便地叠加在已有预训练模型之上。

实验结果集中在 LIBERO-PRO 基准上。在任务扰动条件下,该方法将 GR00T-N1.6 的平均成功率从 31.2 提升到 77.5;在位置扰动条件下,则从 28.1 提升到 60.2,两项增益分别为 46.3 和 32.1 个百分点。作者还报告,$\pi_{0.5}$ 也取得了可比的增益,说明该机制并不依赖特定主干,具有骨干无关性。

论文的核心结论是:只要把足够的 grounding 信息提升到三维空间,并将其直接注入动作头,就能同时解锁 VLA 的空间泛化与任务泛化能力;而实现这一点,仅需在预训练主干之上加一个轻量模块即可。该工作由 Shiang-Feng Tsai 等 7 位作者完成,于 2026 年 6 月 26 日提交至 arXiv,属于机器人学(cs.RO)方向,论文编号为 arXiv:2606.27663v1。

展开要点与分析

文章情报

工程师进阶

要点

  • 提出一个两层的MLP模块,无需修改VLA骨干或预训练流程,将三维接地信号直接注入动作头。
  • 在LIBERO-PRO上,GR00T-N1.6任务扰动成功率提升46.3点至77.5,位置扰动提升32.1点至60.2。
  • 对π₀.₅取得可比增益,表明机制与骨干模型无关。
  • 核心发现:将接地信号提升到三维并直接注入动作头,是解锁空间和任务泛化的关键。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。