跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

T-WLA:彌合慢速視覺與快速觸覺之間的鴻溝

文章摘要

該論文提出 T-WLA 世界-語言-動作架構,透過共享視覺記憶同時驅動基礎動作生成與輕量級觸覺修正,使機器人在視覺策略更新之前就能對接觸變化做出快速調整。在指關節運動預測任務中,該方法將 MPJPE 降低 30%,並在四項真實機器人靈巧操作任務中取得約 50.0% 的平均成功率。

來源arXiv Robotics作者: Kaichen Zhou, Yuzhen Chen, Hannah Yao, Chonghe Jiang, Rao Fu, Xihang Yu, Wei Dai, Bashar Kabbarah, Haoyu Chen, Ishita Goluguri, Zhiyang Dou, Haonan Chen, Fangneng Zhan, Mengyu Wang, Wojciech Matusik, Antonio Torralba, Paul Pu Liang
T-WLA:彌合慢速視覺與快速觸覺之間的鴻溝
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

arXiv 於 2026 年 10 月 20 日(週二)18:36:13 UTC 收到題為《T-WLA: Bridging Slow Vision and Fast Touch》的論文投稿,編號 arXiv:2610.28814v1,分類為機器人學(cs.RO),由 Kaichen Zhou 領銜、共 17 位作者合作完成,提交者為 Yuzhen Chen,稿件體積約 34,301 KB。論文提出的核心問題是:在接觸密集型操作中,接觸條件可能在視覺策略更新動作計劃之前就發生變化;若透過視覺策略重新計算計劃會引入延遲,而僅依賴觸覺反饋又無法指明當前運動應如何針對任務進行修正。為此,作者提出 T-WLA——一種世界-語言-動作(world-language-action)架構,利用共享的視覺記憶同時指導動作生成與觸覺修正。

在機制上,每次視覺更新時,視覺分支將當前影像、任務指令以及檢索到的歷史資訊整合為一份視覺記憶,用以條件化基礎動作(base-action)的生成;同一份記憶會被快取並交給一個輕量的觸覺編輯器,後者將其與正在執行的動作片段以及新到達的觸覺訊號結合,預測對尚未執行動作的殘差修正,而無需重新執行視覺分支。這一設計意在讓緩慢的視覺更新與快速的觸覺反饋各司其職:視覺分支負責低頻的計劃生成,觸覺編輯器負責高頻的線上修正。訓練方面,未來影像預測與未來壓力預測僅作為訓練期監督訊號,促使視覺記憶與觸覺特徵捕捉與動作生成和修正相關的互動動力學。

實驗評估分為兩部分:一是在 EgoTouch 與 Tachin 資料集上進行觸覺條件下的手部運動預測;二是在四個真實世界靈巧操作任務上進行真機實驗。結果顯示,T-WLA 相較於已報告的最強基線將手指關節 MPJPE 降低 30%,並在真實機器人操作任務上取得約 50.0% 的平均成功率。作者提供了影片與程式碼,專案頁面為 https://anonymous-submission-20.github.io/T-WLA.github.io/。需要注意的是,該摘要頁面未披露基線細節、任務具體構成、訓練資料規模及各任務的單獨成功率,約 50.0% 的平均成功率也表明該方向在真機條件下仍有較大提升空間;此外論文 DOI 為 https://doi.org/10.48550/arXiv.2610.28814,由 DataCite 簽發(註冊尚待完成),全文可透過 PDF、實驗性 HTML 及 TeX 原始碼等形式獲取。

展開要點與分析

文章情報

研究者進階

要點

  • 共享視覺記憶同時為動作生成和觸覺修正提供條件,無需重跑視覺分支即可修正動作
  • 觸覺編輯器僅用快取記憶、當前動作塊與觸覺輸入預測未執行動作的殘差修正
  • 未來影像與未來壓力預測僅作為訓練期監督,幫助特徵捕捉互動動態
  • 指關節 MPJPE 相對最強基線降低 30%,真實機器人任務平均成功率約 50.0%

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。