近年來,視覺-語言-動作(VLA)策略在機器人操作領域取得了顯著進展,能夠透過語言指令執行復雜的操作任務。然而,這些策略主要依賴視覺資訊,在處理接觸狀態時面臨重大挑戰。當機器人進入接觸場景時,視場可能被遮擋,深度資訊變得模糊,或者微小的力誤差可能導致執行偏離離線演示的分佈。為了解決這個問題,來自多所機構的研究人員提出了一種名為LIFT(Late Reactive Injection of Force for VLA Post-Training)的新型後訓練框架。
LIFT的核心思想是在預訓練的VLA策略上新增接觸反應能力,同時保留其通用的操作知識。該框架透過在原始動作專家旁嫁接一個反應式動作專家,並使用預訓練的動作權重進行初始化,來實現這一目標。為了將力反饋融入決策過程,LIFT引入了因果力記憶和零初始化的交叉注意力機制,從而將最近的6D末端執行器力資訊注入到策略中,使動作能夠根據即時力反饋進行重新整理。
由於接觸反饋會引起策略依賴的分佈偏移,LIFT進一步將反應式力注入與線上DAgger迴圈相結合。該迴圈在離線任務對齊資料和人工糾正的線上rollout的混合資料上進行訓練,從而有效地應對了分佈偏移問題。這種方法確保了策略能夠在實際接觸中不斷適應和改進。
在毛巾摺疊、書籍插入和漢諾塔放置三個接觸密集的任務上,研究團隊對LIFT進行了評估。實驗結果顯示,與純視覺後訓練相比,LIFT學習速度更快,並達到了更高的效能。消融研究進一步表明,反應式力記憶和線上糾正資料對於實現魯棒的接觸豐富操作都至關重要。程式碼和資料將公開發布,為機器人操作領域的研究提供了新的工具和方向。