LayerRAG-Bench：エージェント型検索拡張生成のためのクロスレイヤー信頼性ベンチマーク

エージェント型検索拡張生成（Agentic RAG）は、企業システムで広く採用されつつある。複雑な質問に答える際、外部知識を検索し、ツールを呼び出し、複数ターンにわたる会話のコンテキストを利用して回答を生成する。しかし、この多層パイプラインには新たな信頼性リスクが存在する。システムは一見「根拠がある」ように見える回答を生成しながら、実際にはエビデンス層、ツール契約層、認可層、セッション状態層のどこかで静かに失敗することがある。こうした失敗は、従来の回答品質指標では検出が難しい。

このようなクロスレイヤー障害を体系的に測定・分析するため、独立研究者のMusa Shams氏は、2026年7月29日に「LayerRAG-Bench: A Cross-Layer Reliability Benchmark for Agentic Retrieval-Augmented Generation」という論文（arXiv:2607.27353）を提出した。論文は全10ページ・9テーブルで構成され、コードとデータが公開されている。研究では、制御されたクロスレイヤー信頼性ベンチマークであるLayerRAG-Benchを提案している。このベンチマークは、8つのエンタープライズ領域、240のタスク、9つの障害シナリオ、2つの契約モードをカバーする。OpenAI、Anthropic、Geminiが提供する9モデルに対して大規模な評価を実施し、合計38,880件のライブタスク記録を収集した。

LayerRAG-Benchの設計の核となるのは「レイヤー別」と「制御可能性」である。研究では、エージェント型RAGの信頼性を4つの層に分解している。すなわち、エビデンス検索が正しいか、ツール呼び出しが契約に準拠しているか、認可が正しく実行されるか、セッション状態が正しく使用されるかである。これらに基づき、スキーマドリフト、エビデンスの古さ、ツール出力の欠落、権限拒否、誤ったセッションコンテキストなど、9つの障害シナリオを構築した。契約モードは2種類用意され、異なるスタイルのAPI契約を模倣する。

実験結果で最も注目すべき点は、スキーマ正規化（schema normalization）によって、スキーマドリフトシナリオのタスク成功率が0.000から0.913に向上したことだ。これは、この種の障害が非常に効果的に修復可能であることを示している。しかし、スキーマ正規化は他の層の問題を解決できない。古いエビデンス、ツール出力の欠落、拒否された権限、誤ったセッションコンテキストに対しては、スキーマ正規化はほとんど効果がなかった。つまり、異なる層の障害にはそれぞれ個別の修復戦略が必要であり、万能の解決策は存在しない。

もう一つの重要な発見は、評価方法に関するものだ。研究によれば、回答の根拠（groundedness）だけを評価すると、古いエビデンスや誤ったセッションのエビデンスが使われたシナリオで、かなりの誤検出が発生する。システムの回答が検索エビデンスと一致しているように見えても、実際には古い情報や無関係な文脈に基づいている場合がある。そこで著者らは「レイヤー別評価」の原則を提唱している。信頼性向上の介入は、その対象とする層の修復に対してのみ評価されるべきであり、ある層で有効だったからといって、すべての問題を解決する万能策と見なしてはならない。

LayerRAG-Benchの貢献は、評価そのものにとどまらない。論文では、レイヤー別の障害注入方法と評価プロトコルを明確に定義し、関連コードとデータをオープンソースとして公開している。エンタープライズ向けRAG製品を構築するエンジニアや研究者にとって、このベンチマークはシステムの弱点を正確に特定し、効果的な信頼性最適化戦略を策定するための有用な枠組みとなる。