本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

SproutRAG:長文書RAGのための注意力誘導木探索と漸進的埋め込み

記事の要約

SproutRAGは、学習された文間注意力を用いて二分木チャンキングを構築する注意力誘導型階層RAGフレームワークです。追加のLLM呼び出しや損失のある要約なしに多粒度検索を可能にし、4つのベンチマークで情報効率を平均6.1%向上させました。

ソースarXiv Computational Linguistics著者: Amirhossein Abaskohi, Issam H. Laradji, Peter West, Giuseppe Carenini
SproutRAG:長文書RAGのための注意力誘導木探索と漸進的埋め込み
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

SproutRAGは、長文書向けの検索拡張生成(RAG)において、検索の粒度と文脈の一貫性を両立させるために提案された、注意機構に導かれる階層型RAGフレームワークである。論文はarXiv:2606.18381として2026年6月16日に投稿され、Amirhossein Abaskohi氏ら4名による共同研究で、約3,350KBの全文とGitHub上の公開コードが提供されている。研究の出発点は、既存のRAG手法が抱えるトレードオフにある。すなわち、LLMに依存したチャンキングは索引時や検索時に高コストな呼び出しを必要とし、単一レベルの文脈拡張では複数文にまたがる関連性を捉えきれず、階層的要約は情報損失を招くという問題である。

SproutRAGは文単位のチャンクを、意味的に一貫したまま段階的に大きな単位へと組織化し、学習された文間注意を用いて二分木のチャンキング構造を構築する。外部LLM、固定された文脈拡張、損失を伴う要約に頼る従来手法とは異なり、どの注意ヘッドと層が文書の意味構造を最もよく捉えるかをモデル自身が学習するため、追加のLLM呼び出しや圧縮要約なしに複数粒度での検索が可能になる。

検索時には階層的ビームサーチを採用し、複数の粒度で候補を同時に取得することで、フラットな検索では得られない複数文にわたる関連性を捉える。フレームワーク全体は、埋め込み表現と木構造の両方を改善する共同目的関数によってエンドツーエンドで訓練される。

評価は科学、法律、オープンドメインの3領域にまたがる4つのベンチマークで行われ、SproutRAGは情報効率(IE)を最強のベースラインに対して平均6.1%改善した。情報効率は限られた文脈からどれだけ有効な情報を得られるかを示す指標であり、この向上は長文書RAGの実運用におけるノイズ削減と文脈利用率の改善を意味する。論文は、追加の推論コストなしで多粒度の集約を実現した点を既存手法に対する主要な利点として位置づけており、再現と後続研究のためにコードも公開されている。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 学習された文間注意力を用いて二分木チャンキングを構築し、文レベルのチャンクを漸進的に大きくかつ意味的に一貫した単位に組織化。
  • 階層的ビームサーチによる多粒度検索を実現し、追加のLLM呼び出しや圧縮要約を不要に。
  • 4つのベンチマークで情報効率が平均6.1%向上。
  • コードはGitHubで公開。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。