SproutRAG：基于注意力引导的树搜索与渐进嵌入的长文档RAG
SproutRAG是一种新型层次化检索增强生成框架，通过注意力机制学习文档结构，构建二叉分块树，实现多粒度检索而不依赖额外LLM调用或压缩摘要。实验表明，在科学、法律和开放域基准上，信息效率平均提升6.1%。
检索增强生成（RAG）系统需要在检索粒度和上下文连贯性之间取得平衡。现有方法通常依赖LLM引导的分块、单级上下文扩展或层次化摘要，但这些方法要么在索引或检索时产生高昂的LLM调用成本，要么将上下文聚合限制在单一粒度级别，要么通过摘要引入信息损失。
针对这一问题，来自多伦多大学等机构的研究人员提出了SproutRAG，一种注意力引导的层次化RAG框架。该方法将句子级分块组织成逐渐增大但语义连贯的单元，利用学习到的句子间注意力构建二叉分块树。与依赖外部LLM、固定上下文扩展或有损摘要的传统方法不同，SproutRAG能够学习哪些注意力头和层最能捕捉语义文档结构，从而无需额外LLM调用或压缩摘要即可实现多粒度检索。
在检索阶段，SproutRAG采用层次化波束搜索，从多个粒度级别检索候选结果，捕获超越平面检索的多句子相关性。整个框架通过联合目标函数进行端到端训练，同时优化嵌入和树结构。在涵盖科学、法律和开放域设置的四个基准测试中，SproutRAG相比最強基线平均提升了6.1%的信息效率（IE）。相关代码已开源在GitHub上。该论文于2026年6月16日提交至arXiv，作者包括Amirhossein Abaskohi等四人。SproutRAG的核心创新在于利用预训练语言模型内部的注意力机制来学习文档的层次化结构，而非依赖外部LLM进行分块或摘要。这不仅降低了推理成本，还避免了信息损失。实验结果显示，SproutRAG在科学论文、法律文档和开放域问答等多个场景中均表现出色。未来，该框架可进一步扩展到多模态文档或与其他检索策略结合，为长文档RAG系统提供更高效的解决方案。