跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

DiMaS:面向视觉-语言-动作模型的分布匹配引导策略

文章摘要

DiMaS是一种专为流匹配视觉-语言-动作(VLA)模型设计的分布匹配引导策略,通过在表示分布之间进行传输而非沿固定方向移动,实现了对机器人操作行为的细粒度控制。该方法在两种最先进的VLA上验证了有效性,并分析了行为控制的可迁移性。研究表明,经典线性引导在视觉运动任务中失效,因为行为特征线性可解码但不可线性引导。

来源arXiv Robotics作者: Pegah Khayatan, Sara Meziane, Jayneel Parekh, Matthieu Cord
DiMaS:面向视觉-语言-动作模型的分布匹配引导策略
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

近日,来自arXiv的一篇论文提出了DiMaS(Distribution Matching for Steering),这是一种针对流匹配视觉-语言-动作(VLA)模型的分布匹配引导策略。VLA模型已成为机器人操作领域的强大策略,但细粒度行为控制——即通过干预内部表示来调节机器人执行任务的方式——一直是一个未充分探索的关键能力。该论文由Pegah Khayatan等四位作者共同完成,于2026年7月15日提交,代码已开源在GitHub上,并提供了补充结果和视频。

在语言和视觉-语言模型中,表示引导是一种成熟的解释工具,通常将行为特征编码为线性方向。然而,研究团队发现这些经典方法在VLA中效果不佳。为此,他们提出了DiMaS,该方法不是在固定方向上移动,而是在表示分布之间进行传输,从而有效控制行为。在两种最先进的VLA模型上的实验验证了其有效性,证明了DiMaS能够在不改变模型参数的情况下,通过干预中间表示来改变机器人的行为模式,例如调整抓取速度或运动轨迹。

研究进一步探讨了该策略的可迁移性:随着学习任务与评估任务之间差异增大,行为控制的迁移效果会发生变化。作者设计了不同相似度的任务对,系统性地评估了DiMaS的泛化能力。结果表明,当任务高度相似时,控制效果几乎完全迁移;但随着差异增大,迁移效果逐渐减弱,这揭示了VLA模型内部表示的任务依赖性。

通过分析动作专家的表示结构,论文解释了经典线性引导在视觉运动设置中失效的原因:行为特征虽然线性可解码,但不可线性引导。这意味着可以轻松从表示中读取行为意图,但无法通过简单的线性插值来改变行为。这一发现促使了DiMaS的分布匹配设计,其核心思想是将行为控制视为一个最优传输问题,通过最小化两个分布之间的差异来实现平滑的行为干预。

该研究的代码已公开在GitHub上(https://github.com/pegah-kh/dimas),并提供了补充结果和视频(https://pegah-kh.github.io/dimas/)。DiMaS为机器人操作中的细粒度行为控制提供了新的思路,特别是在需要精确调节机器人动作的场景中具有潜在应用价值,例如在装配任务中调整末端执行器的速度,或在人机协作中改变机器人的反应灵敏度。

展开要点与分析

文章情报

工程师进阶

要点

  • DiMaS通过分布匹配传输而非线性方向移动来实现VLA模型的细粒度行为控制。
  • 该方法在两种最先进的VLA模型上有效,并展示了任务相似性对控制迁移的影响。
  • 分析表明,行为特征线性可解码但不可线性引导,因此需要分布匹配方法。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。