跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

面向长程机器人控制的视觉运动策略中的记忆检索

文章摘要

该论文提出 HALO,一种用于长程控制的视觉运动策略,借助注意力机制完成记忆检索。它通过将视觉语言模型先验蒸馏进策略来抑制虚假关联,并利用稀疏注意力把检索限制在最相关的历史片段上,从而最高可从八分钟过往经验中提取有用信息。

来源arXiv Robotics作者: Rutav Shah, Yisu Li, Femi Bello, Yuke Zhu, Roberto Mart\'in-Mart\'in
面向长程机器人控制的视觉运动策略中的记忆检索
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

在家庭等只能部分观测环境中运行的通用机器人,需要依赖记忆来维持自主性。它们必须回忆过去发生的多种信息,例如物品被放在哪里、人类伙伴已经完成了哪些任务、某个电器是何时被开启的。要想具备这种多样化能力,就需要一个通用的记忆检索机制。利用注意力机制在长上下文中进行记忆检索的 Transformer 架构提供了一条有前景的路径,因为它们能够从数据中学习检索,而不依赖针对特定任务手工设计的规则。然而,将这类架构直接引入基于离线数据的模仿学习会带来两个关键挑战:其一,策略可能在过往信息与预测动作之间学到虚假关联;其二,由于预测不准确及其与环境的复合交互,记忆中的误差会不断累积,进而导致模型漂移和级联失效。

为解决这两个挑战,论文提出了 HALO——一种带有基于注意力的记忆检索机制的视觉运动策略,用于长时程控制。首先,为抑制虚假关联,HALO 将视觉语言模型(VLM)的先验知识蒸馏进策略之中。具体做法是从示范轨迹中生成依赖记忆的问答对,并与视频问答目标联合训练,从而将检索引导至与任务相关的信息上。其次,为降低闭环控制过程中记忆中累积误差的影响,HALO 采用稀疏注意力,将检索限制在历史中最相关的部分。两者结合,使策略能够从长达八分钟的过往经验中检索任务相关信息,从而实现更可靠的长时程控制。

该论文题为《Memory Retrieval in Visuomotor Policies for Long-Horizon Robot Control》,由 Rutav Shah 等五位作者完成,提交于 2026 年 6 月 23 日,属于机器人学(cs.RO)方向。论文共 16 页,包含 5 张表和 8 张图,arXiv 编号为 2606.25136,DOI 为 10.48550/arXiv.2606.25136,采用 cs.RO 分类。项目网站为 https://robin-lab.cs.utexas.edu/HALO,读者可通过 PDF、实验性 HTML 及 TeX 源码等形式获取全文。

从研究意义上看,这项工作针对的是长时程机器人控制中记忆机制的可靠性问题:既要让策略学会关注真正与任务相关的历史线索,又要避免长上下文检索在闭环执行中因误差累积而失控。HALO 通过 VLM 先验蒸馏与稀疏注意力两项设计,分别对应虚假关联与误差累积这两大痛点,为通用机器人在真实家庭环境中实现更长时间跨度的自主作业提供了新的思路。

展开要点与分析

文章情报

工程师进阶

要点

  • HALO 用注意力对长上下文做记忆检索,学习从数据中获得检索能力,而非依赖手工规则。
  • 将 VLM 先验蒸馏进策略,生成依赖记忆的问答对,并联合视频问答目标训练,以抑制虚假关联。
  • 稀疏注意力限制检索范围,缓解闭环控制中记忆误差累积导致的模型漂移和级联失败。
  • 该方法可支持最长约八分钟的过往经验检索,面向在部分可观测环境中工作的通用机器人。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。