跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

SproutRAG:面向长文档RAG的注意力引导树搜索与渐进式嵌入

文章摘要

SproutRAG 是一种注意力引导的分层 RAG 框架,它利用学习到的句子间注意力构建二叉树,实现多粒度检索,无需额外的 LLM 调用或有损摘要。在涵盖科学、法律和开放领域的四个基准测试中,其信息效率平均比最强基线高 6.1%。

来源arXiv Computational Linguistics作者: Amirhossein Abaskohi, Issam H. Laradji, Peter West, Giuseppe Carenini
SproutRAG:面向长文档RAG的注意力引导树搜索与渐进式嵌入
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

SproutRAG 是来自不列颠哥伦比亚大学(UBC)等机构的研究者提出的一种面向长文档检索增强生成(RAG)的注意力引导层次化框架。该论文以 arXiv:2606.18381 于 2026 年 6 月 16 日提交,作者为 Amirhossein Abaskohi 等四人,全文约 3,350 KB,代码已在 GitHub 上公开。其核心出发点是:RAG 系统必须在“检索粒度”与“上下文连贯性”之间取得平衡,而现有方法要么依赖大模型在索引或检索阶段进行分块,成本高昂;要么只支持单一层级的上下文扩展,难以聚合多句、多段的关联信息;要么通过摘要压缩引入信息损失。

为解决这一矛盾,SproutRAG 将句子级片段组织成逐层增大、但语义上保持连贯的单元,并利用学习到的句间注意力构建一棵二叉分块树。与依赖外部大模型、固定上下文窗口扩张或有损摘要的先前方案不同,SproutRAG 不需要额外的 LLM 调用,也不生成压缩摘要,而是自动学习 Transformer 中哪些注意力头与哪些层最能反映文档的语义结构。这样一来,模型能够在多个粒度上执行检索,而不必为每个粒度重新训练或调用外部模型。

在检索阶段,SproutRAG 采用层次化束搜索(hierarchical beam search),在句子、段落乃至更大单元等多个层级上同时检索候选,从而捕捉超越扁平化检索的多句相关性。整个框架以联合目标进行端到端训练,该目标同时优化嵌入表示与树结构,使分块树与向量检索相互促进,而非彼此割裂。

实验覆盖科学、法律与开放域三类场景共四个基准数据集。结果显示,SproutRAG 在信息效率(Information Efficiency, IE)指标上平均比最强基线提升 6.1%。这一指标强调的是在有限上下文中获取有效信息的比例,因而提升意味着更少噪声与更高的上下文利用率,对长文档 RAG 的实际部署具有直接意义。论文同时指出,其方法在无需额外推理开销的前提下实现了多粒度聚合,这是相对 LLM 引导分块与摘要式层次方法的关键优势,相关代码已开源以便复现与后续研究。

展开要点与分析

文章情报

工程师进阶

要点

  • 使用学习到的句子间注意力构建二叉分块树,将句子级块组织成渐进式语义连贯单元。
  • 支持多粒度分层束搜索检索,无需额外 LLM 调用或压缩摘要。
  • 在四个基准测试中,信息效率平均提升 6.1%。
  • 代码已在 GitHub 上开源。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。