DiMaS:面向視覺-語言-動作模型的分佈匹配引導策略
DiMaS是一種專為流匹配視覺-語言-動作(VLA)模型設計的分佈匹配引導策略,通過在表示分佈之間進行傳輸而非沿固定方向移動,實現了對機器人操作行為的細粒度控制。該方法在兩種最先進的VLA上驗證了有效性,並分析了行為控制的可遷移性。研究表明,經典線性引導在視覺運動任務中失效,因為行為特徵線性可解碼但不可線性引導。
近日,來自arXiv的一篇論文提出了DiMaS(Distribution Matching for Steering),這是一種針對流匹配視覺-語言-動作(VLA)模型的分佈匹配引導策略。VLA模型已成為機器人操作領域的強大策略,但細粒度行為控制——即通過干預內部表示來調節機器人執行任務的方式——一直是一個未充分探索的關鍵能力。該論文由Pegah Khayatan等四位作者共同完成,於2026年7月15日提交,代碼已開源在GitHub上,並提供了補充結果和視頻。
在語言和視覺-語言模型中,表示引導是一種成熟的解釋工具,通常將行為特徵編碼為線性方向。然而,研究團隊發現這些經典方法在VLA中效果不佳。為此,他們提出了DiMaS,該方法不是在固定方向上移動,而是在表示分佈之間進行傳輸,從而有效控制行為。在兩種最先進的VLA模型上的實驗驗證了其有效性,證明了DiMaS能夠在不改變模型參數的情況下,通過干預中間表示來改變機器人的行為模式,例如調整抓取速度或運動軌跡。
研究進一步探討了該策略的可遷移性:隨着學習任務與評估任務之間差異增大,行為控制的遷移效果會發生變化。作者設計了不同相似度的任務對,系統性地評估了DiMaS的泛化能力。結果表明,當任務高度相似時,控制效果幾乎完全遷移;但隨着差異增大,遷移效果逐漸減弱,這揭示了VLA模型內部表示的任務依賴性。
通過分析動作專家的表示結構,論文解釋了經典線性引導在視覺運動設置中失效的原因:行為特徵雖然線性可解碼,但不可線性引導。這意味着可以輕鬆從表示中讀取行為意圖,但無法通過簡單的線性插值來改變行為。這一發現促使了DiMaS的分佈匹配設計,其核心思想是將行為控制視為一個最優傳輸問題,通過最小化兩個分佈之間的差異來實現平滑的行為干預。
該研究的代碼已公開在GitHub上(https://github.com/pegah-kh/dimas),並提供了補充結果和視頻(https://pegah-kh.github.io/dimas/)。DiMaS為機器人操作中的細粒度行為控制提供了新的思路,特別是在需要精確調節機器人動作的場景中具有潛在應用價值,例如在裝配任務中調整末端執行器的速度,或在人機協作中改變機器人的反應靈敏度。