跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

微观-宏观检索:减少大语言模型长文生成中的幻觉

文章摘要

研究者提出 Micro-Macro Retrieval(M2R)框架,通过在生成过程中同时进行宏观层面的外部证据检索和微观层面的关键信息复用,缩小关键信息与模型输出之间的距离,从而降低长文生成任务中的事实性幻觉。

来源arXiv Computational Linguistics作者: Yujie Feng, Jian Li, Zhihan Zhou, Pengfei Xu, Yujia Zhang, Xiaoyu Li, Xiaohui Zhou, Alan Zhao, Xi Chen, Xiao-Ming Wu
微观-宏观检索:减少大语言模型长文生成中的幻觉
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

大型语言模型(LLM)在众多任务上表现亮眼,但幻觉问题始终未能根除,在长文本生成场景下尤为突出。冗余的检索上下文与冗长的推理链会放大事实性错误,使得模型在生成较长内容时更容易偏离事实。近期研究揭示了一个关键现象:关键信息与模型输出之间的距离越近,事实准确率就越高。然而,现有的检索增强语言模型(RALM)缺乏有效机制来保证这种“邻近性”——外部证据虽通过多轮检索被注入推理过程,却无法确保关键信息在最终输出时仍紧邻生成位置。针对这一空白,来自 Yujie Feng 等十位作者的研究提出了 Micro-Macro Retrieval(M2R),一种“边生成边检索”的新框架。

M2R 的核心设计分为宏观与微观两个层次。在宏观层面,M2R 从外部来源检索粗粒度的证据,为模型提供背景性、范围较广的知识支撑;在微观层面,它则从推理过程中构建的关键信息仓库里提取核心结果,并在生成答案时加以复用。这种双层次结构直接针对“关键信息—输出邻近性”这一瓶颈,从而在长文本任务中有效降低幻觉的发生。

为了让模型稳定掌握检索与事实落地(grounding)这两项技能,研究团队采用基于课程学习的强化学习策略进行训练,并配合定制化的规则奖励。课程学习的设计使模型能够循序渐进地习得能力,而规则化奖励则为训练提供了明确、可控的优化信号,避免训练过程出现不稳定。

该论文于 2026 年 4 月 10 日提交至 arXiv,编号为 arXiv:2605.28828v1,属于计算与语言(cs.CL)方向,并交叉涉及人工智能(cs.AI)。论文全文约 2,050 KB,提供了 PDF、实验性 HTML 以及 TeX 源码等多种访问形式,并附带 DOI(10.48550/arXiv.2605.28828)。作者方还在 arXiv 页面上提供了代码、数据与媒体相关工具的链接入口。

在实验方面,论文在多个不同基准上进行了评估,结果验证了 M2R 的有效性,尤其在长上下文设置下优势更为明显。这一结果表明,通过在生成过程中动态维护并复用关键信息,模型能够在面对大量上下文时更好地保持事实一致性。

从更广的意义上看,M2R 所回应的正是检索增强生成领域的一个核心难题:检索到的证据如何真正影响最终输出,而不是在漫长的推理链中被稀释或遗忘。宏观检索保证了证据来源的广度,微观复用则保证了关键结论在输出阶段的“在场”。二者结合,为长文本生成中的幻觉抑制提供了一条可训练、可评估的技术路径,也为后续在更长上下文、更复杂推理任务上的研究提供了参考。

展开要点与分析

文章情报

投资人进阶

要点

  • M2R 采用“边生成边检索”的框架,分宏观与微观两个层级。
  • 宏观层从外部来源检索粗粒度证据,微观层在推理中构建关键信息库并在生成答案时复用。
  • 该设计针对“关键信息离输出越近、事实准确性越高”这一现象,缓解关键信息与输出之间的邻近性瓶颈。
  • 模型使用基于课程学习的强化学习策略和定制规则奖励进行训练,在多基准测试尤其是长上下文场景中表现有效。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。

微观-宏观检索:减少大语言模型长文生成中的幻觉 | AI News Hub