大型语言模型(LLM)在众多任务上表现亮眼,但幻觉问题始终未能根除,在长文本生成场景下尤为突出。冗余的检索上下文与冗长的推理链会放大事实性错误,使得模型在生成较长内容时更容易偏离事实。近期研究揭示了一个关键现象:关键信息与模型输出之间的距离越近,事实准确率就越高。然而,现有的检索增强语言模型(RALM)缺乏有效机制来保证这种“邻近性”——外部证据虽通过多轮检索被注入推理过程,却无法确保关键信息在最终输出时仍紧邻生成位置。针对这一空白,来自 Yujie Feng 等十位作者的研究提出了 Micro-Macro Retrieval(M2R),一种“边生成边检索”的新框架。
M2R 的核心设计分为宏观与微观两个层次。在宏观层面,M2R 从外部来源检索粗粒度的证据,为模型提供背景性、范围较广的知识支撑;在微观层面,它则从推理过程中构建的关键信息仓库里提取核心结果,并在生成答案时加以复用。这种双层次结构直接针对“关键信息—输出邻近性”这一瓶颈,从而在长文本任务中有效降低幻觉的发生。
为了让模型稳定掌握检索与事实落地(grounding)这两项技能,研究团队采用基于课程学习的强化学习策略进行训练,并配合定制化的规则奖励。课程学习的设计使模型能够循序渐进地习得能力,而规则化奖励则为训练提供了明确、可控的优化信号,避免训练过程出现不稳定。
该论文于 2026 年 4 月 10 日提交至 arXiv,编号为 arXiv:2605.28828v1,属于计算与语言(cs.CL)方向,并交叉涉及人工智能(cs.AI)。论文全文约 2,050 KB,提供了 PDF、实验性 HTML 以及 TeX 源码等多种访问形式,并附带 DOI(10.48550/arXiv.2605.28828)。作者方还在 arXiv 页面上提供了代码、数据与媒体相关工具的链接入口。
在实验方面,论文在多个不同基准上进行了评估,结果验证了 M2R 的有效性,尤其在长上下文设置下优势更为明显。这一结果表明,通过在生成过程中动态维护并复用关键信息,模型能够在面对大量上下文时更好地保持事实一致性。
从更广的意义上看,M2R 所回应的正是检索增强生成领域的一个核心难题:检索到的证据如何真正影响最终输出,而不是在漫长的推理链中被稀释或遗忘。宏观检索保证了证据来源的广度,微观复用则保证了关键结论在输出阶段的“在场”。二者结合,为长文本生成中的幻觉抑制提供了一条可训练、可评估的技术路径,也为后续在更长上下文、更复杂推理任务上的研究提供了参考。