跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

T-WLA:弥合慢速视觉与快速触觉之间的鸿沟

文章摘要

该论文提出 T-WLA 世界-语言-动作架构,通过共享视觉记忆同时驱动基础动作生成与轻量级触觉修正,使机器人在视觉策略更新之前就能对接触变化做出快速调整。在指关节运动预测任务中,该方法将 MPJPE 降低 30%,并在四项真实机器人灵巧操作任务中取得约 50.0% 的平均成功率。

来源arXiv Robotics作者: Kaichen Zhou, Yuzhen Chen, Hannah Yao, Chonghe Jiang, Rao Fu, Xihang Yu, Wei Dai, Bashar Kabbarah, Haoyu Chen, Ishita Goluguri, Zhiyang Dou, Haonan Chen, Fangneng Zhan, Mengyu Wang, Wojciech Matusik, Antonio Torralba, Paul Pu Liang
T-WLA:弥合慢速视觉与快速触觉之间的鸿沟
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

arXiv 于 2026 年 10 月 20 日(周二)18:36:13 UTC 收到题为《T-WLA: Bridging Slow Vision and Fast Touch》的论文投稿,编号 arXiv:2610.28814v1,分类为机器人学(cs.RO),由 Kaichen Zhou 领衔、共 17 位作者合作完成,提交者为 Yuzhen Chen,稿件体积约 34,301 KB。论文提出的核心问题是:在接触密集型操作中,接触条件可能在视觉策略更新动作计划之前就发生变化;若通过视觉策略重新计算计划会引入延迟,而仅依赖触觉反馈又无法指明当前运动应如何针对任务进行修正。为此,作者提出 T-WLA——一种世界-语言-动作(world-language-action)架构,利用共享的视觉记忆同时指导动作生成与触觉修正。

在机制上,每次视觉更新时,视觉分支将当前图像、任务指令以及检索到的历史信息整合为一份视觉记忆,用以条件化基础动作(base-action)的生成;同一份记忆会被缓存并交给一个轻量的触觉编辑器,后者将其与正在执行的动作片段以及新到达的触觉信号结合,预测对尚未执行动作的残差修正,而无需重新运行视觉分支。这一设计意在让缓慢的视觉更新与快速的触觉反馈各司其职:视觉分支负责低频的计划生成,触觉编辑器负责高频的在线修正。训练方面,未来图像预测与未来压力预测仅作为训练期监督信号,促使视觉记忆与触觉特征捕捉与动作生成和修正相关的交互动力学。

实验评估分为两部分:一是在 EgoTouch 与 Tachin 数据集上进行触觉条件下的手部运动预测;二是在四个真实世界灵巧操作任务上进行真机实验。结果显示,T-WLA 相较于已报告的最强基线将手指关节 MPJPE 降低 30%,并在真实机器人操作任务上取得约 50.0% 的平均成功率。作者提供了视频与代码,项目页面为 https://anonymous-submission-20.github.io/T-WLA.github.io/。需要注意的是,该摘要页面未披露基线细节、任务具体构成、训练数据规模及各任务的单独成功率,约 50.0% 的平均成功率也表明该方向在真机条件下仍有较大提升空间;此外论文 DOI 为 https://doi.org/10.48550/arXiv.2610.28814,由 DataCite 签发(注册尚待完成),全文可通过 PDF、实验性 HTML 及 TeX 源码等形式获取。

展开要点与分析

文章情报

研究者进阶

要点

  • 共享视觉记忆同时为动作生成和触觉修正提供条件,无需重跑视觉分支即可修正动作
  • 触觉编辑器仅用缓存记忆、当前动作块与触觉输入预测未执行动作的残差修正
  • 未来图像与未来压力预测仅作为训练期监督,帮助特征捕捉交互动态
  • 指关节 MPJPE 相对最强基线降低 30%,真实机器人任务平均成功率约 50.0%

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。