跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

Supersede:诊断并训练LLM智能体的记忆更新差距

文章摘要

该论文在真实对话数据上分离出LLM智能体更新已过时事实的能力缺陷,发现即便前沿模型在受限记忆中准确率也从92%跌至77%,且随对话增长差距扩大;为此发布可训练强化学习环境Supersede,并证明GRPO微调小模型可将超替换准确率近乎翻倍。

来源arXiv Computational Linguistics作者: Vedant Patel
Supersede:诊断并训练LLM智能体的记忆更新差距
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

大型语言模型(LLM)智能体越来越多地承担跨多个会话的长期交互任务,而在这类交互中,事实会发生变化:用户搬家、价格调整、计划被修订。要正确行动,智能体必须使用事实的当前值,并丢弃已被取代的旧值。然而,这种“记忆更新”能力是否已被现有模型可靠掌握,此前缺乏专门的测量。arXiv 论文《Supersede: Diagnosing and Training the Memory-Update Gap in LLM Agents》在真实对话数据上系统性地分离出了这一能力,并指出它是一个独特且尚未解决的失败模式。

研究团队在 LongMemEval 的知识更新子集上进行了测试。当把一个智能体原本可用的完整上下文替换为有界、由其自行维护的记忆时,即使使用前沿模型 gpt-5.4,准确率也会从 92% 下降到 77%。这一差距通过配对 McNemar 检验具有统计显著性(p<0.005),并且在模型规模扩大时依然存在,而全上下文准确率则在 92% 附近趋于饱和。这说明瓶颈在于记忆维护,而非对内容的理解;而且换用更强的模型并不能自动弥合这一差距。

作者进一步追问:这是否只是因为记忆容量太小?答案是否定的。当对话长度增加到 24 倍时,准确率从 68% 进一步跌至 28%;即使按比例给予智能体更多记忆,也没有观察到可检测的恢复(从 28% 到 28%,n=25)。可见失败与对话长度相关,而不是与压缩比相关。换言之,随着交互历史变长,智能体越来越难以追踪事实的当前状态,简单扩容记忆并非解药。

为了将这一测量转化为可训练信号,研究团队发布了 Supersede——一个基于 verifiers / prime-rl 栈的开源强化学习环境。在该环境中,智能体因依据当前值作答而获得奖励,因使用过时值而受到惩罚。这为训练模型主动维护事实时效性提供了直接的目标函数。

最后,作者闭环验证了该差距是可训练的。使用 GRPO 在这个环境中对一个较小的开源模型 Qwen2.5-3B 进行微调,其在真实、未见过的对话上的留出超替换准确率几乎翻倍,从 9.0% 提升至 16.7%(单次运行)。训练过程中检查点曲线单调上升,表明增益来自学到的策略,而非评测框架本身。据作者所知,这是首个奖励目标针对时间事实时效性的可训练环境,也是首个证据表明超替换差距可以被训练降低,而不仅仅是被测量。该工作为长期记忆型智能体的可靠性提升提供了诊断工具和训练路径。

展开要点与分析

文章情报

工程师进阶

要点

  • 记忆维护而非理解是瓶颈:前沿模型gpt-5.4用全上下文准确率92%,改用有界自维护记忆即跌至77%,统计显著且跨模型规模持续。
  • 差距不因记忆扩容而缓解:对话增长24倍时准确率从68%降至28%,按比例增加记忆无恢复,失败与对话长度而非压缩比相关。
  • 发布Supersede强化学习环境,奖励当前值、惩罚过时值,实现首个针对时间事实时效性的可训练环境。
  • GRPO微调Qwen2.5-3B在未见真实对话上超替换准确率从9.0%升至16.7%,单调检查点曲线表明增益源于学得的策略。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。