跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

DIM-WAM:具有多样历史事件记忆的世界-动作建模

文章摘要

DiM-WAM 提出一种记忆增强的世界-动作模型,通过多尺度历史上下文、局部未来动态和全局任务进度来解决长时程机器人操作任务中的长期遗忘问题,在 RMBench 和真实 Franka 任务上取得显著提升。

来源arXiv Robotics作者: Kai Wang, Zhaopeng Gu, Yixiang Chen, Yuan Xu, Qisen Ma, Peng Su, Zhaowen Li, Yan Huang, Liang Wang
DIM-WAM:具有多样历史事件记忆的世界-动作建模
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

DIM-WAM 是发表于 2026 年 6 月 26 日的一篇 arXiv 论文(编号 arXiv:2606.27677v1,归类为 cs.RO 机器人学,并交叉列入 cs.CV 计算机视觉与模式识别),由 Kai Wang 领衔、共 9 位作者合作完成。该研究聚焦于世界-动作模型(world-action model)在机器人操作中的应用。所谓世界-动作模型,是指同时预测未来视觉状态与动作的一类方法,近年已在机器人操作任务上展现出可观的性能表现。然而,作者指出,现有方法大多依赖短期历史信息和短时程的未来预测,这对于那些需要依赖早期观测与任务进度才能正确执行的长时程任务而言并不够用。

论文进一步阐述了这类“时间依赖型任务”的需求:它们需要有效整合多种互补的时间信息,包括近期的局部上下文、跨阶段的历史事件、即将发生的短期动态,以及全局的任务进度。现有方法的问题在于长期遗忘,以及对全局任务状态的感知不足。为了解决这两个核心缺陷,研究团队提出了 DiM-WAM,一种记忆增强的世界-动作模型,它把多尺度的历史上下文、局部未来动态与全局任务进度整合在一起。

在机制层面,DiM-WAM 的记忆模块会从真实观测中提取紧凑的视觉事件信息,通过独立的、基于相似度的合并过程来更新多个记忆库,然后读取带有记忆库身份标识与时间嵌入的长期上下文,用以条件化视频去噪与动作去噪过程。此外,模型还引入了进度监督目标,进一步促使记忆 token 不仅编码已完成的历史事件,也编码当前所处的任务阶段及其对剩余任务的含义。这一设计意图在于让模型既“记得住”过去,也“看得清”当前进度。

在实验中,DiM-WAM 在 RMBench 基准上把平均成功率从 LingBot-VA 的 28.4% 提升到 69.8%,同时也超过了显式记忆基线 Mem-0 的 42.0%。在四个真实世界的 Franka 任务上,该方法把平均阶段成功率从 70.7% 提升到 91.5%,把完整任务成功率从 52.5% 提升到 80.0%。论文提供了项目主页 wangkai-casia.github.io/dim-wam/ 供查阅更多信息。该论文于 2026 年 6 月 26 日 03:17:39 UTC 提交,全文约 1,978 KB,目前提供 PDF、实验性 HTML 与 TeX 源码等多种获取方式。

展开要点与分析

文章情报

研究者进阶

要点

  • DiM-WAM 利用多记忆库存储紧凑的视觉事件信息,并通过独立相似度合并进行更新。
  • 进度监督目标使记忆令牌编码当前任务阶段及其对剩余任务的影响。
  • 在 RMBench 上平均成功率从 28.4% 提升至 69.8%,在四个真实 Franka 任务上全任务成功率从 52.5% 提升至 80.0%。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。