SproutRAG: 注意機構によるツリー探索とプログレッシブ埋め込みを用いた長文書RAG

検索拡張生成（RAG）システムは、検索の粒度と文脈の一貫性のバランスを取る必要があります。既存の手法は、LLMガイドによるチャンキング、単一レベルの文脈拡張、または階層的要約に依存していますが、これらはインデックス作成や検索時に高コストなLLM呼び出しを必要としたり、文脈の集約を単一粒度に制限したり、要約による情報損失を引き起こしたりします。

トロント大学などの研究者らが提案したSproutRAGは、このトレードオフに対処する注意機構に基づく階層型RAGフレームワークです。文レベルのチャンクを徐々に大きく意味的に一貫した単位に整理し、学習された文間注意を用いて二分木チャンキングを構築します。外部LLMや固定の文脈拡張、損失を伴う要約に依存する先行研究とは異なり、SproutRAGはどの注意ヘッドと層が文書の意味構造を最もよく捉えるかを学習し、追加のLLM呼び出しや圧縮要約なしにマルチグラニュラリティ検索を可能にします。

検索時には、階層的ビームサーチを用いて複数の粒度で候補を取得し、フラット検索を超えた複数文の関連性を捉えます。フレームワークは、埋め込みとツリー構造の両方を改善する共同目的関数でエンドツーエンドに訓練されます。科学、法律、オープンドメインの4つのベンチマーク実験において、SproutRAGは最強のベースラインと比較して情報効率（IE）を平均6.1%向上させました。コードはGitHubで公開されています。本論文は2026年6月16日にarXivに提出され、著者はAmirhossein Abaskohiを含む4名です。SproutRAGの核となる革新は、事前学習言語モデル内部の注意機構を利用して文書の階層構造を学習する点であり、外部LLMによるチャンキングや要約に依存しません。これにより推論コストが削減され、情報損失も回避されます。実験結果は、科学論文、法律文書、オープンドメインQAなど多様なシナリオで良好な性能を示しています。将来的には、マルチモーダル文書への拡張や他の検索戦略との統合が期待され、長文書RAGシステムの効率的なソリューションを提供するでしょう。