大型语言模型(LLM)智能体越来越多地承担跨多个会话的长期交互任务,而在这类交互中,事实会发生变化:用户搬家、价格调整、计划被修订。要正确行动,智能体必须使用事实的当前值,并丢弃已被取代的旧值。然而,这种“记忆更新”能力是否已被现有模型可靠掌握,此前缺乏专门的测量。arXiv 论文《Supersede: Diagnosing and Training the Memory-Update Gap in LLM Agents》在真实对话数据上系统性地分离出了这一能力,并指出它是一个独特且尚未解决的失败模式。
研究团队在 LongMemEval 的知识更新子集上进行了测试。当把一个智能体原本可用的完整上下文替换为有界、由其自行维护的记忆时,即使使用前沿模型 gpt-5.4,准确率也会从 92% 下降到 77%。这一差距通过配对 McNemar 检验具有统计显著性(p<0.005),并且在模型规模扩大时依然存在,而全上下文准确率则在 92% 附近趋于饱和。这说明瓶颈在于记忆维护,而非对内容的理解;而且换用更强的模型并不能自动弥合这一差距。
作者进一步追问:这是否只是因为记忆容量太小?答案是否定的。当对话长度增加到 24 倍时,准确率从 68% 进一步跌至 28%;即使按比例给予智能体更多记忆,也没有观察到可检测的恢复(从 28% 到 28%,n=25)。可见失败与对话长度相关,而不是与压缩比相关。换言之,随着交互历史变长,智能体越来越难以追踪事实的当前状态,简单扩容记忆并非解药。
为了将这一测量转化为可训练信号,研究团队发布了 Supersede——一个基于 verifiers / prime-rl 栈的开源强化学习环境。在该环境中,智能体因依据当前值作答而获得奖励,因使用过时值而受到惩罚。这为训练模型主动维护事实时效性提供了直接的目标函数。
最后,作者闭环验证了该差距是可训练的。使用 GRPO 在这个环境中对一个较小的开源模型 Qwen2.5-3B 进行微调,其在真实、未见过的对话上的留出超替换准确率几乎翻倍,从 9.0% 提升至 16.7%(单次运行)。训练过程中检查点曲线单调上升,表明增益来自学到的策略,而非评测框架本身。据作者所知,这是首个奖励目标针对时间事实时效性的可训练环境,也是首个证据表明超替换差距可以被训练降低,而不仅仅是被测量。该工作为长期记忆型智能体的可靠性提升提供了诊断工具和训练路径。