SproutRAG 是来自不列颠哥伦比亚大学(UBC)等机构的研究者提出的一种面向长文档检索增强生成(RAG)的注意力引导层次化框架。该论文以 arXiv:2606.18381 于 2026 年 6 月 16 日提交,作者为 Amirhossein Abaskohi 等四人,全文约 3,350 KB,代码已在 GitHub 上公开。其核心出发点是:RAG 系统必须在“检索粒度”与“上下文连贯性”之间取得平衡,而现有方法要么依赖大模型在索引或检索阶段进行分块,成本高昂;要么只支持单一层级的上下文扩展,难以聚合多句、多段的关联信息;要么通过摘要压缩引入信息损失。
为解决这一矛盾,SproutRAG 将句子级片段组织成逐层增大、但语义上保持连贯的单元,并利用学习到的句间注意力构建一棵二叉分块树。与依赖外部大模型、固定上下文窗口扩张或有损摘要的先前方案不同,SproutRAG 不需要额外的 LLM 调用,也不生成压缩摘要,而是自动学习 Transformer 中哪些注意力头与哪些层最能反映文档的语义结构。这样一来,模型能够在多个粒度上执行检索,而不必为每个粒度重新训练或调用外部模型。
在检索阶段,SproutRAG 采用层次化束搜索(hierarchical beam search),在句子、段落乃至更大单元等多个层级上同时检索候选,从而捕捉超越扁平化检索的多句相关性。整个框架以联合目标进行端到端训练,该目标同时优化嵌入表示与树结构,使分块树与向量检索相互促进,而非彼此割裂。
实验覆盖科学、法律与开放域三类场景共四个基准数据集。结果显示,SproutRAG 在信息效率(Information Efficiency, IE)指标上平均比最强基线提升 6.1%。这一指标强调的是在有限上下文中获取有效信息的比例,因而提升意味着更少噪声与更高的上下文利用率,对长文档 RAG 的实际部署具有直接意义。论文同时指出,其方法在无需额外推理开销的前提下实现了多粒度聚合,这是相对 LLM 引导分块与摘要式层次方法的关键优势,相关代码已开源以便复现与后续研究。