DiMaS:面向视觉-语言-动作模型的分布匹配引导策略
DiMaS是一种专为流匹配视觉-语言-动作(VLA)模型设计的分布匹配引导策略,通过在表示分布之间进行传输而非沿固定方向移动,实现了对机器人操作行为的细粒度控制。该方法在两种最先进的VLA上验证了有效性,并分析了行为控制的可迁移性。研究表明,经典线性引导在视觉运动任务中失效,因为行为特征线性可解码但不可线性引导。
近日,来自arXiv的一篇论文提出了DiMaS(Distribution Matching for Steering),这是一种针对流匹配视觉-语言-动作(VLA)模型的分布匹配引导策略。VLA模型已成为机器人操作领域的强大策略,但细粒度行为控制——即通过干预内部表示来调节机器人执行任务的方式——一直是一个未充分探索的关键能力。该论文由Pegah Khayatan等四位作者共同完成,于2026年7月15日提交,代码已开源在GitHub上,并提供了补充结果和视频。
在语言和视觉-语言模型中,表示引导是一种成熟的解释工具,通常将行为特征编码为线性方向。然而,研究团队发现这些经典方法在VLA中效果不佳。为此,他们提出了DiMaS,该方法不是在固定方向上移动,而是在表示分布之间进行传输,从而有效控制行为。在两种最先进的VLA模型上的实验验证了其有效性,证明了DiMaS能够在不改变模型参数的情况下,通过干预中间表示来改变机器人的行为模式,例如调整抓取速度或运动轨迹。
研究进一步探讨了该策略的可迁移性:随着学习任务与评估任务之间差异增大,行为控制的迁移效果会发生变化。作者设计了不同相似度的任务对,系统性地评估了DiMaS的泛化能力。结果表明,当任务高度相似时,控制效果几乎完全迁移;但随着差异增大,迁移效果逐渐减弱,这揭示了VLA模型内部表示的任务依赖性。
通过分析动作专家的表示结构,论文解释了经典线性引导在视觉运动设置中失效的原因:行为特征虽然线性可解码,但不可线性引导。这意味着可以轻松从表示中读取行为意图,但无法通过简单的线性插值来改变行为。这一发现促使了DiMaS的分布匹配设计,其核心思想是将行为控制视为一个最优传输问题,通过最小化两个分布之间的差异来实现平滑的行为干预。
该研究的代码已公开在GitHub上(https://github.com/pegah-kh/dimas),并提供了补充结果和视频(https://pegah-kh.github.io/dimas/)。DiMaS为机器人操作中的细粒度行为控制提供了新的思路,特别是在需要精确调节机器人动作的场景中具有潜在应用价值,例如在装配任务中调整末端执行器的速度,或在人机协作中改变机器人的反应灵敏度。