近年來,視覺-語言-動作(VLA)策略在機器人操作領域取得了顯著進展,能夠通過語言指令執行復雜的操作任務。然而,這些策略主要依賴視覺信息,在處理接觸狀態時面臨重大挑戰。當機器人進入接觸場景時,視場可能被遮擋,深度信息變得模糊,或者微小的力誤差可能導致執行偏離離線演示的分佈。為了解決這個問題,來自多所機構的研究人員提出了一種名為LIFT(Late Reactive Injection of Force for VLA Post-Training)的新型後訓練框架。
LIFT的核心思想是在預訓練的VLA策略上添加接觸反應能力,同時保留其通用的操作知識。該框架通過在原始動作專家旁嫁接一個反應式動作專家,並使用預訓練的動作權重進行初始化,來實現這一目標。為了將力反饋融入決策過程,LIFT引入了因果力記憶和零初始化的交叉注意力機制,從而將最近的6D末端執行器力信息注入到策略中,使動作能夠根據實時力反饋進行刷新。
由於接觸反饋會引起策略依賴的分佈偏移,LIFT進一步將反應式力注入與在線DAgger循環相結合。該循環在離線任務對齊數據和人工糾正的在線rollout的混合數據上進行訓練,從而有效地應對了分佈偏移問題。這種方法確保了策略能夠在實際接觸中不斷適應和改進。
在毛巾摺疊、書籍插入和漢諾塔放置三個接觸密集的任務上,研究團隊對LIFT進行了評估。實驗結果顯示,與純視覺後訓練相比,LIFT學習速度更快,並達到了更高的性能。消融研究進一步表明,反應式力記憶和在線糾正數據對於實現魯棒的接觸豐富操作都至關重要。代碼和數據將公開發布,為機器人操作領域的研究提供了新的工具和方向。