跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

SF-AMS:面向LLM代理的结构化记忆策略性遗忘框架

文章摘要

SF-AMS通过效用驱动的生存机制和复合重要性评分,动态建模记忆单元的重要性,解决了LLM代理中长上下文依赖导致的推理性能下降问题。在LoCoMo和LongMemEval-s基准测试中,该方法在多种推理任务上显著超越现有基线,最高F1提升达9.65。

来源arXiv AI作者: Ning Yang, Siqi Li, Miaoxin Shen, Yuan Zhou, Meng Zhang, Tong Li, Haijun Zhang
SF-AMS:面向LLM代理的结构化记忆策略性遗忘框架
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

大型语言模型(LLM)代理在执行多步推理时,经常因长上下文中的冗余和无关信息而性能下降。为解决这一瓶颈,来自研究团队的最新成果——SF-AMS(Strategic Forgetting for Agent Memory Systems)——提出了一种策略性遗忘框架,旨在通过动态建模记忆单元的重要性来维持紧凑且高可用的记忆。

该方法摒弃了传统基于静态检索和启发式衰减的记忆管理方式,转而采用一种效用驱动的生存机制。该机制根据使用冗余度和时间信号动态更新记忆的重要性,从而形成层次化的记忆结构,优先保留与实体一致且稳定的信息,同时有效过滤噪声。在此基础上,SF-AMS还引入了复合重要性评分(Composite Importance Scoring),整合语义级和实体级信号以提升检索的鲁棒性。这种双层次的设计使得记忆系统能够更准确地识别哪些信息对当前和未来任务最为关键。

实验在LoCoMo和LongMemEval-s两个基准上进行,对比了LightMem、MemO和A-Mem等强基线。结果显示,SF-AMS在所有任务中均取得一致提升。最大改进出现在基于Qwen2.5-7B的多跳推理任务中,F1分数较最强基线高出9.65;基于GPT-4o-mini的时间推理任务提升6.91 F1;开放域任务提升6.53 F1。这些结果在不同骨干模型间表现出良好的泛化性,证明了该框架的通用性。

研究团队认为,将记忆重要性建模为动态效用信号是实现可靠长上下文推理的关键。该工作不仅为LLM代理的记忆管理提供了新思路,也为未来构建更高效、更鲁棒的智能体系统奠定了基础。SF-AMS的提出标志着记忆管理从静态启发式向动态学习的重要转变。

展开要点与分析

文章情报

工程师进阶

要点

  • SF-AMS采用效用驱动的生存机制,根据使用冗余度和时间信号动态更新记忆重要性。
  • 复合重要性评分整合语义和实体级信号,增强检索鲁棒性。
  • 在Qwen2.5-7B的多跳推理中F1提升9.65,GPT-4o-mini的时间推理提升6.91,开放域任务提升6.53。
  • 动态效用信号是实现可靠长上下文推理的关键。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。