大型语言模型在短上下文推理中表现强劲，但随着对话轮次增加，受限于上下文窗口容量和令牌使用效率，性能会逐渐下降。2026年5月1日提交至arXiv的论文《面向长程LLM推理的上下文回收》（arXiv:2606.26105v1，cs.CL，交叉cs.AI与cs.LG）由Derek Thomas撰写，提出了一套名为ContextForge的系统，试图在不扩大上下文窗口、也不重新训练模型的前提下缓解这一问题。
ContextForge的核心思路是“上下文回收”：在多轮对话中持续保留与任务相关的信息，而不是把此前所有对话内容完整重放给模型。系统由三个环节协同工作——结构化查询生成、外部记忆检索以及受控合成。具体而言，系统会根据当前轮次生成结构化的查询，从外部记忆中检索出此前计算所沉淀的关键信息，再通过受控的方式将这些信息合成为本轮可用的上下文。这样既复用了先前的计算结果，又避免了将全部历史令牌重新送入模型所带来的开销。
论文采用一个15轮的对话基准进行评估，该基准覆盖多轮推理、回指（back-references）以及结构化医疗健康查询中的领域切换等场景。与使用相同底层模型的基线智能体相比，ContextForge在保持响应准确率大致相当的同时，展现出更好的一致性和更低的令牌消耗。
作者指出，这些结果表明上下文回收是一种切实可行的方法，可用于扩展LLM在长程任务中的能力，而无需依赖更大的上下文窗口或模型再训练。论文还公开了代码与评估工件，仓库地址为https://github.com/Betanu701/ContextForge，全文提供PDF、实验性HTML以及TeX源码，DOI为10.48550/arXiv.2606.26105，由DataCite发放。
需要说明的是，该评估目前基于一个15轮的对话基准，且聚焦于结构化医疗健康查询这一特定领域，其结论能否推广到更长对话或其他任务类型仍有待进一步验证。此外，系统在准确率上只是“相当”，并非提升，其主要收益体现在一致性与令牌效率方面。尽管如此，这项工作为长程推理提供了一条不依赖模型规模扩张的工程化路径，对需要在有限上下文预算下维持多轮任务连贯性的应用具有参考价值。