一篇新发表的arXiv论文把检索增强生成当作一种上下文内优化过程来处理，而不是把检索文档仅仅视作静态证据。这篇题为《In-Context Optimization for Retrieval-Augmented Generation: A Gradient-Descent Perspective》的论文由Mingchen Li及另外四位作者撰写，提交于2026年5月25日，属于计算与语言（cs.CL）类别。其出发点是把近期将上下文内学习与线性自注意力模型中隐式梯度下降联系起来的工作，与检索增强生成的实际实践连接起来。
传统RAG流水线从外部语料库中检索文档，并把这些文档附加到模型上下文中，视其为可供参考的候选。论文作者认为，这些检索到的文档同样可以被理解为适应的信号：它们不只是答案的辅助材料，而是会在模型的前向传播过程中诱发更新。
论文的核心理论结果针对一个线性化设定：一个线性自注意力层可以对应在统一的线性化RAG目标上执行一步梯度下降。该目标被设计为同时覆盖基于投影的检索接口与基于点积的检索接口，这说明检索增强预测与上下文内优化在某一个精确区间内是重合的。作者明确表示，他们并不认为这一结果是对真实大语言模型计算的逐字刻画；它是一份数学指南，用来理解查询与检索证据之间的交互方式应该如何适配。
论文随后考察这种对应关系的边界。在受控的线性扩展下，该对应保持稳定。而在非线性架构下，它则变得依赖特征分布，这意味着精确的梯度下降解读难以直接迁移到现代非线性模型上。
这项工作的实用部分是把上述视角转化为一种轻量级方法，用于冻结的RAG大语言模型。检索器和语言模型主干都保持固定；取而代之的是，系统预测一个由上下文条件化的更新，作用于生成器侧的证据使用接口。因为该更新是仅前向的，它避免了测试时梯度自适应所需的反向传播，同时仍然允许模型根据检索到的证据调整对证据的使用方式。
作者在七个问答基准、两种检索器和两种冻结的大语言模型主干上评测了该方法。仅前向更新优于共享接口基线，能够迁移到留出任务，并且以低得多的每查询成本接近测试时梯度自适应的表现。论文以arXiv标识符2605.26356发布，DOI通过DataCite分配，v1版本以273KB的提交规模可用。