視覺-語言-動作(VLA)模型在機器人操作中展現出良好的泛化能力,但在接觸密集型任務中仍面臨挑戰:微小的接觸擾動可能導致無法恢復的失敗,且僅憑視覺難以檢測。鑑於這些失敗是局部的而非任務級語義錯誤,觸覺感知的校正後訓練提供了一種高效的恢復改進途徑。然而,通過人工干預來擴展這種監督成本高昂。最近的研究探索了利用世界模型合成想象軌跡以改進策略,但僅視覺的世界模型可能產生視覺合理但接觸不一致的軌跡。為此,本文提出了TACO,一個觸覺感知的世界模型驅動框架,用於接觸密集型操作中的可擴展VLA後訓練。
TACO在真實機器人軌跡基礎上,遵循“識別-想象-標記”循環,藉助觸覺感知的世界模型運作:統一進度-動作模型通過進度估計識別接近失敗的狀態,視覺-觸覺生成模型想象局部校正片段,進度-動作模型則為這些片段標註可執行的校正動作。為了將觸覺校正監督融入VLA後訓練,TACO結合了知識隔離的觸覺適應與優勢條件訓練,使策略能夠從想象的校正中學習,同時不退化預訓練的視覺-語言先驗。這些組件使TACO能夠將真實世界中的失敗轉化為想象的視覺-觸覺校正,用於迭代的VLA後訓練。
在真實世界的接觸密集型操作任務實驗中,TACO相比基礎策略實現了44%的絕對成功率提升,相比不帶知識隔離觸覺適應的策略提升了32%。這一結果表明,觸覺感知的世界模型在提升VLA模型處理接觸密集型任務方面具有顯著潛力。TACO的成功展示瞭如何通過融合觸覺模態來彌補視覺的不足,為未來機器人操作中更魯棒的後訓練方法開闢了新的方向。