在家庭等只能部分观测环境中运行的通用机器人,需要依赖记忆来维持自主性。它们必须回忆过去发生的多种信息,例如物品被放在哪里、人类伙伴已经完成了哪些任务、某个电器是何时被开启的。要想具备这种多样化能力,就需要一个通用的记忆检索机制。利用注意力机制在长上下文中进行记忆检索的 Transformer 架构提供了一条有前景的路径,因为它们能够从数据中学习检索,而不依赖针对特定任务手工设计的规则。然而,将这类架构直接引入基于离线数据的模仿学习会带来两个关键挑战:其一,策略可能在过往信息与预测动作之间学到虚假关联;其二,由于预测不准确及其与环境的复合交互,记忆中的误差会不断累积,进而导致模型漂移和级联失效。
为解决这两个挑战,论文提出了 HALO——一种带有基于注意力的记忆检索机制的视觉运动策略,用于长时程控制。首先,为抑制虚假关联,HALO 将视觉语言模型(VLM)的先验知识蒸馏进策略之中。具体做法是从示范轨迹中生成依赖记忆的问答对,并与视频问答目标联合训练,从而将检索引导至与任务相关的信息上。其次,为降低闭环控制过程中记忆中累积误差的影响,HALO 采用稀疏注意力,将检索限制在历史中最相关的部分。两者结合,使策略能够从长达八分钟的过往经验中检索任务相关信息,从而实现更可靠的长时程控制。
该论文题为《Memory Retrieval in Visuomotor Policies for Long-Horizon Robot Control》,由 Rutav Shah 等五位作者完成,提交于 2026 年 6 月 23 日,属于机器人学(cs.RO)方向。论文共 16 页,包含 5 张表和 8 张图,arXiv 编号为 2606.25136,DOI 为 10.48550/arXiv.2606.25136,采用 cs.RO 分类。项目网站为 https://robin-lab.cs.utexas.edu/HALO,读者可通过 PDF、实验性 HTML 及 TeX 源码等形式获取全文。
从研究意义上看,这项工作针对的是长时程机器人控制中记忆机制的可靠性问题:既要让策略学会关注真正与任务相关的历史线索,又要避免长上下文检索在闭环执行中因误差累积而失控。HALO 通过 VLM 先验蒸馏与稀疏注意力两项设计,分别对应虚假关联与误差累积这两大痛点,为通用机器人在真实家庭环境中实现更长时间跨度的自主作业提供了新的思路。