检索正从一次性匹配逐步转向交互式推理：语言智能体会反复检查证据、改写查询并再次搜索。这种多轮交互让训练过程面临一个棘手的信用分配问题。查询、摘要等可执行动作能够被检索器直接评估，而那些潜在的推理步骤无法直接观测，它们只能通过影响后续的可执行动作间接发挥作用。这种不对称性使结果层面的奖励分配变得不可靠——同一个最终奖励，可能会把功劳错误地归给那些实际上并未塑造检索成功的推理步骤。
针对这一问题，作者提出了 RICE-PO，一个无需评论家（critic-free）的策略优化框架，核心思路是把检索交互本身转化为局部的学习信号。RICE-PO 首先挑选高不确定性的可执行动作作为锚点，然后利用检索指标评估局部的反事实分支，最后仅在“推理到动作”影响力较强、且未来残余效应稳定的条件下，才把信用传播回潜在的推理步骤。换言之，它并不依赖一个全局的评论家模型来估计每一步的价值，而是借助智能体与环境交互的结构来定位哪些环节真正值得学习。
这篇论文由 Mingchen Li 等共六位作者完成，于 2026 年 5 月 25 日提交至 arXiv，属于计算与语言（cs.CL）方向，编号为 arXiv:2605.26352v1。摘要指出，检索器可以直接评价查询或摘要这类可执行动作，而潜在推理步骤不可直接观测，只能影响未来的可执行动作，正是这种不对称让结果级奖励不可靠。RICE-PO 的解决方案是把奖励定位到交互中的关键节点上，而非笼统地分配到整个轨迹。
在实验中，RICE-PO 在 BRIGHT 和 BEIR 两个基准上进行了评估。在相同的检索器设置下，它稳定优于基于提示的智能体以及基于分组的强化学习基线。这些结果表明，智能体与环境交互的结构本身就可以为训练基于推理的检索智能体提供有用的监督信号，而不仅仅依赖外部奖励或额外的评论家网络。
从更广的意义上看，这项工作提示了一种思路：当智能体的中间推理难以直接标注时，可以把可执行的、可评估的动作作为支点，通过反事实评估与稳定性判断，将学习信号谨慎地回传到不可观测的推理环节。这种方法既避免了结果级奖励带来的错误归因，也绕开了评论家模型带来的额外复杂度，为训练交互式检索智能体提供了一个值得关注的方向。