大型语言模型（LLM）代理在执行复杂任务时，通常依赖情景记忆来积累和检索过去的经验。然而，现有的记忆增强方法往往将每个记忆视为独立的实体，在评估检索质量时忽视了记忆之间的依赖关系——即一个记忆的创建可能依赖于之前检索到的其他记忆。为了弥补这一根本性缺陷，由Junwei Liao等12位研究者组成的团队提出了MemQ，一种将Q学习与时间差分（TD(λ)）资格迹相结合的新型记忆增强框架。MemQ的核心创新在于，它通过构建一个溯源有向无环图（DAG）来记录每个新记忆创建时所检索到的记忆，并利用资格迹沿DAG反向传播信用分数。具体而言，信用权重按(γλ)^d衰减，其中d代表DAG的深度，从而用结构接近性取代了传统的时间距离度量。这一设计使得代理能够更准确地评估哪些记忆对后续任务真正有价值。
为了从理论上巩固这一方法，研究人员还形式化了一个外生上下文马尔可夫决策过程（EC-MDP），其因子化转移机制将外生的任务流与内生的记忆存储解耦。这一形式化不仅揭示了MemQ的工作原理，还为参数选择提供了原则性指导。在多步任务中，代理需要按顺序检索多个相互依赖的记忆，而MemQ通过DAG结构能够捕捉到这种依赖链，从而在信用分配上实现更精细的控制。
在涵盖操作系统交互、函数调用、代码生成、多模态推理、具身推理和专家级问答等六个不同领域的基准测试中，MemQ在泛化评估和运行时学习方面均取得了最高的成功率。值得注意的是，在那些需要深度溯源链的多步任务上，MemQ的性能提升高达5.7个百分点；而在简单的单步分类任务上，提升幅度仅为0.77个百分点，因为传统的单步更新方法在这些场景下已经足够。此外，论文还对γ和λ两个参数与EC-MDP结构的相互作用进行了深入分析，为未来的研究提供了坚实的基础。MemQ的代码计划在不久后开源，这将进一步推动LLM代理在复杂环境中的自主学习和适应性进化。