AI News HubLIVE
站内改写2 分钟阅读

AI工程师必读:七种智能体记忆类型技术指南

大型语言模型默认无状态,智能体需要记忆来保留上下文。本文详细解析了七种记忆类型——工作记忆、语义记忆、情节记忆、程序记忆、检索记忆、参数记忆和前瞻记忆,包括每种记忆存储的内容、位置和实现时机。附带对比表和Python代码示例。

来源MarkTechPost作者: Asif Razzaq

大型语言模型(LLM)默认是无状态的。每次API调用都从零开始,模型在返回响应后会忘记你的上一条消息。对于单个问题这没问题,但当你构建智能体时,这种设计就失效了。智能体需要规划、调用工具并在多个步骤中运行,它们必须记住信息。记忆正是解决这一问题的基础设施,它将无状态模型转变为能够保留上下文、从经验中学习并随时间行动的系统。

什么是智能体记忆?记忆是任何能在模型推理过程中传递信息的机制。部分记忆存在于上下文窗口内,部分存在于外部数据库或模型权重中。每种类型针对不同类别的信息以不同时长进行存储。记忆按形式(参数化:存储在权重中;非参数化:存储为文本)和时标(短期或长期)进行分类。下面介绍的七种类型恰好映射到这两个轴上。

七种智能体记忆类型:

  1. 上下文/工作记忆(短期):模型当前在其上下文窗口内能看到的所有内容,包括系统提示、最近消息、工具输出和推理步骤。它相当于RAM,快速且必要,但暂时且容量有限。其他每种记忆类型都在争夺这里的空间。
  2. 语义记忆(长期):持久存储事实、偏好和领域知识。例如“用户更喜欢Python而非JavaScript”。这些知识与学习时间无关,是智能体关于用户或话题的有组织的百科全书。
  3. 情节记忆(长期):记录特定过去事件、完整对话和任务运行。记录什么有效、什么失败。智能体用它从经验中学习,如Reflexion和ExpeL系统会撰写事后总结并存储结论供未来使用。
  4. 程序记忆(长期):智能体关于如何做事情的知识,涵盖技能、工具使用模式、工作流程和行为规则。处理第一百次密码重置的支持智能体不会重新推理工作流,而是执行已学会的程序。
  5. 外部/检索记忆(短期+长期):存储在模型外部的向量数据库中的知识,在推理时通过相似性搜索拉入上下文。这是将RAG应用于智能体历史或文档的方式。检索质量很快成为瓶颈。
  6. 参数记忆(长期):在训练期间直接嵌入模型权重的知识,包含语言、推理模式和通用世界知识。模型不进行查找,而是从学习到的关联中生成。其缺点是训练后冻结。
  7. 前瞻记忆(短期+长期):智能体记住未来意图和计划目标的能力,跟踪已计划但尚未执行的任务。对于长周期和多步规划智能体至关重要,否则智能体将忘记自己的承诺。

对比:这七种记忆在时标、位置和典型实现上各有不同。下表展示了每种类型的映射(此处描述,原文有表):工作记忆位于上下文窗口,短期,存储提示、消息、工具输出;语义记忆在外部存储,长期,存储事实偏好;情节记忆在外部存储,长期,存储事件日志;程序记忆在提示或权重中,长期,存储技能规则;检索记忆在向量数据库,两者兼有,存储文档;参数记忆在模型权重,长期,存储世界知识;前瞻记忆在状态存储,两者兼有,存储未来意图。

使用场景:每种记忆解决具体产品需求。编码助手在单个会话中使用工作记忆;个人助手需要语义记忆记住用户偏好;研究智能体需要情节记忆改进;旅行预订智能体需要程序记忆掌握流程;文档聊天机器人需要检索记忆;长期项目智能体需要前瞻记忆。一个综合性例子:自治市场分析智能体同时使用所有七种记忆——参数记忆提供基础推理,检索记忆拉取市场数据,语义记忆提供用户格式偏好,情节记忆回忆可靠来源,程序记忆驱动章节顺序,前瞻记忆安排后续任务,工作记忆将所有内容组装到活动上下文。

实现:下面是一个最小记忆栈的Python草图(文中提供了代码示例,此处简述)。在实际生产中,长期存储会迁移到向量数据库,但模式保持不变:写入长期记忆,检索到工作记忆,然后进行推理。

如何分层:不要一次性构建所有七种。从工作记忆开始,添加语义记忆以满足跨会话记住用户的需求,之后根据需求逐步加入情节、程序和前瞻记忆。参数记忆和检索记忆通常已经存在(基础模型和RAG)。

参考文献:CoALA框架(arXiv:2309.02427)、AI时代记忆调查(arXiv:2512.13564)、从人类记忆到AI记忆调查(arXiv:2504.15965)、LangChain LangMem、MongoDB、Redis、Neo4j智能体记忆文档。