跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

TACO:觸覺世界模型作為可擴展VLA後訓練的自我校正器

文章摘要

TACO是一個觸覺感知的世界模型驅動框架,用於接觸密集型操作中的可擴展VLA後訓練。它通過識別-想象-標記循環,將真實失敗轉化為想象的視覺-觸覺校正,從而提升策略性能。實驗表明,TACO相比基礎策略實現了44%的絕對成功率提升。

來源arXiv Robotics作者: Shengbang Liu, Yueru Jia, Yuyang Yan, Jiaming Liu, Xinran Zhang, Qiuxuan Feng, Yandong Guo, Shiji Zhou, Boxin Shi, Shanghang Zhang
TACO:觸覺世界模型作為可擴展VLA後訓練的自我校正器
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

視覺-語言-動作(VLA)模型在機器人操作中展現出良好的泛化能力,但在接觸密集型任務中仍面臨挑戰:微小的接觸擾動可能導致無法恢復的失敗,且僅憑視覺難以檢測。鑑於這些失敗是局部的而非任務級語義錯誤,觸覺感知的校正後訓練提供了一種高效的恢復改進途徑。然而,通過人工干預來擴展這種監督成本高昂。最近的研究探索了利用世界模型合成想象軌跡以改進策略,但僅視覺的世界模型可能產生視覺合理但接觸不一致的軌跡。為此,本文提出了TACO,一個觸覺感知的世界模型驅動框架,用於接觸密集型操作中的可擴展VLA後訓練。

TACO在真實機器人軌跡基礎上,遵循“識別-想象-標記”循環,藉助觸覺感知的世界模型運作:統一進度-動作模型通過進度估計識別接近失敗的狀態,視覺-觸覺生成模型想象局部校正片段,進度-動作模型則為這些片段標註可執行的校正動作。為了將觸覺校正監督融入VLA後訓練,TACO結合了知識隔離的觸覺適應與優勢條件訓練,使策略能夠從想象的校正中學習,同時不退化預訓練的視覺-語言先驗。這些組件使TACO能夠將真實世界中的失敗轉化為想象的視覺-觸覺校正,用於迭代的VLA後訓練。

在真實世界的接觸密集型操作任務實驗中,TACO相比基礎策略實現了44%的絕對成功率提升,相比不帶知識隔離觸覺適應的策略提升了32%。這一結果表明,觸覺感知的世界模型在提升VLA模型處理接觸密集型任務方面具有顯著潛力。TACO的成功展示瞭如何通過融合觸覺模態來彌補視覺的不足,為未來機器人操作中更魯棒的後訓練方法開闢了新的方向。

展開要點與分析

文章情報

工程師進階

要點

  • VLA模型在接觸密集型任務中因視覺侷限而失敗,觸覺感知的後訓練可高效改善恢復。
  • TACO框架包含統一進度-動作模型和視覺-觸覺生成模型,實現失敗識別和校正想象。
  • 知識隔離的觸覺適應與優勢條件訓練結合,使策略從想象校正中學習而不退化視覺-語言先驗。
  • 實際接觸密集型操作任務中,TACO成功率絕對提升44%,優於無觸覺適應策略的32%。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。