MEMORA：从第一人称视频中提取具身动作记忆用于推理与规划

在机器人长期规划任务中，仅仅预测下一步动作是不够的，还需要对过去经验的记忆来理解未来目标。为此，研究人员提出了具身行动记忆（Embodied Action Memory, EAM）的概念，并开发了MEMORA系统。MEMORA通过形成-巩固-检索的生命周期来管理记忆，包括四种类型的内存存储：环境记忆、实体记忆、活动记忆和推断知识。环境记忆记录场景布局和物体位置；实体记忆跟踪物体身份和状态变化；活动记忆记录执行过程的顺序步骤；推断知识则从重复经验中抽象出可复用的程序和参与者特定的规律。在线编辑机制在接收到新观察时实时维护物体身份和状态历史，确保记忆的一致性；离线整合则从重复经验中抽象出可复用的程序和参与者特定的规律。

为了评估这一记忆生命周期，作者在涵盖18名参与者、总时长45小时的EPIC-KITCHENS-100扩展视频数据集上建立了MEMORA-Bench基准。该基准包含两种任务：基于记忆的规划任务（包括未见过的目标）和补充的记忆评估任务。实验在四个开源语言模型上进行，包括Llama、Mistral等。完整的MEMORA系统（结合在线编辑、四种类型存储和离线整合）在所有测试条件下取得了最强大的综合结果。与最强的控制基线相比，记忆评估准确率提升了最多20.5个百分点，而分布外机器人接地规划分数相对提升了16.6%。这些结果证明，结构化记忆对于机器人长期规划至关重要。

此外，一项定性的双任务机器人部署研究展示了基于记忆的语言计划如何与下游控制接口协同工作。在真实机器人平台上，MEMORA系统能够根据先前经验生成合理的行动计划，并成功指导机器人完成复杂任务。整体结果表明，可编辑和可整合的记忆能够为机器人规划提供所需的上下文信息。该论文是2026年机器人科学与系统研讨会（RSS 2026）关于机器人规划基础模型研讨会（FM4RoboPlan）的口头报告论文，共43页，9张图表。论文由Zihao Yu等三位作者撰写，于2026年7月15日提交至arXiv，主题涵盖机器人学（cs.RO）、人工智能（cs.AI）和计算与语言（cs.CL）。项目页面可在 https://yuzihaowashu.github.io/MEMORA/ 查阅。