跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

力量永不嫌晚: 利用反應式力注入加速VLA後訓練

文章摘要

本文提出LIFT框架,通過在預訓練視覺-語言-動作(VLA)策略後訓練中注入反應式力,解決接觸場景下純視覺方法失敗的問題。LIFT嫁接反應式動作專家,利用因果力記憶和零初始化交叉注意力注入6D力,並結合在線DAgger循環應對分佈偏移。在毛巾摺疊、書籍插入和漢諾塔放置任務中,LIFT相比純視覺後訓練學習更快、性能更高。

來源arXiv Robotics作者: Yi Wang, Wendi Chen, Zimo Wen, Han Xue, Xueqi Li, Wenye Yu, Zhijie Chen, Hao Yang, Jun Lv, Chuan Wen, Cewu Lu
力量永不嫌晚: 利用反應式力注入加速VLA後訓練
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

近年來,視覺-語言-動作(VLA)策略在機器人操作領域取得了顯著進展,能夠通過語言指令執行復雜的操作任務。然而,這些策略主要依賴視覺信息,在處理接觸狀態時面臨重大挑戰。當機器人進入接觸場景時,視場可能被遮擋,深度信息變得模糊,或者微小的力誤差可能導致執行偏離離線演示的分佈。為了解決這個問題,來自多所機構的研究人員提出了一種名為LIFT(Late Reactive Injection of Force for VLA Post-Training)的新型後訓練框架。

LIFT的核心思想是在預訓練的VLA策略上添加接觸反應能力,同時保留其通用的操作知識。該框架通過在原始動作專家旁嫁接一個反應式動作專家,並使用預訓練的動作權重進行初始化,來實現這一目標。為了將力反饋融入決策過程,LIFT引入了因果力記憶和零初始化的交叉注意力機制,從而將最近的6D末端執行器力信息注入到策略中,使動作能夠根據實時力反饋進行刷新。

由於接觸反饋會引起策略依賴的分佈偏移,LIFT進一步將反應式力注入與在線DAgger循環相結合。該循環在離線任務對齊數據和人工糾正的在線rollout的混合數據上進行訓練,從而有效地應對了分佈偏移問題。這種方法確保了策略能夠在實際接觸中不斷適應和改進。

在毛巾摺疊、書籍插入和漢諾塔放置三個接觸密集的任務上,研究團隊對LIFT進行了評估。實驗結果顯示,與純視覺後訓練相比,LIFT學習速度更快,並達到了更高的性能。消融研究進一步表明,反應式力記憶和在線糾正數據對於實現魯棒的接觸豐富操作都至關重要。代碼和數據將公開發布,為機器人操作領域的研究提供了新的工具和方向。

展開要點與分析

文章情報

研究者進階

要點

  • LIFT為VLA策略添加接觸反應能力,同時保留通用操作知識。
  • 通過反應式動作專家、因果力記憶和在線DAgger循環實現力反饋注入。
  • 在接觸豐富的操作任務中,LIFT優於純視覺後訓練,且力記憶和在線糾正數據至關重要。

技術影響

可能影響合規要求、模型發佈節奏、數據治理和企業採購。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。