あなたのLLMは、取得したものにのみ依存する

マルチエージェントLLMシステムにおける幻覚検出の研究において、最も一貫した発見は、モデルサイズ、プロンプト設計、推論温度に関するものではなく、検索に関するものであった。検索品質の低さは、研究対象となったすべてのパイプライン構成において、出力品質低下の最も信頼できる予測因子である。

実験的証拠は明確に示している。検索が失敗すると、言語モデルは補償せず、外挿する。事実に基づかないがもっともらしい内容でギャップを埋め、正しい出力と同じ流暢さと自信で生成する。結果として、専用の評価インフラがなければ極めて検出が困難で、体系的な障害モードが生じる。

この記事は、その研究に基づき、検索品質について構造化された実践者向けの分析を提供する。検索品質とは何か、なぜほとんどのチームが認識している以上に重要なのか、実際にどのように失敗するのか、そしてどのように改善できるのか。本番RAGパイプラインを構築している場合でも、マルチエージェントシステムを設計している場合でも、ここでの原則はLLMが最終的に生成するものの信頼性に直接適用される。

RAGシステムにおける検索層の理解

検索拡張生成（RAG）は、大規模言語モデルの根本的な限界の1つに対処する。トレーニングカットオフ以降やトレーニング分布外の情報にアクセスできないことである。RAGアーキテクチャでは、推論時に外部知識ストア（通常はベクトルデータベース）をクエリし、生成開始前にモデルに関連コンテキストを提供する。

パイプラインは3つの順次段階で動作する：

• インデックス作成：ソースドキュメントをチャンクに分割し、埋め込みモデルで密ベクトル表現にエンコードし、ベクトルデータベースに保存する。
• 検索：クエリ時に、ユーザー入力を同じ埋め込みモデルでエンコードし、類似度メトリック（通常はコサイン類似度）を使用してインデックスベクトルと比較する。最も類似した上位k個のチャンクが返される。
• 生成：検索されたチャンクがグラウンディング素材としてモデルのコンテキストウィンドウに注入される。LLMはクエリと検索されたコンテンツに基づいて応答を生成する。

このアーキテクチャの暗黙の契約は、検索されたコンテンツが正確で、最新で、クエリに真に関連していることである。この契約が守られれば、RAGシステムは印象的に機能する。守られなければ、アーキテクチャは特定の危険な障害モードを生み出す。モデルは、誤ったまたは無関係なコンテキストに基づいた、一貫性があり自信に満ちた出力を生成し、何かが間違っていることを示すメカニズムはない。

検索の失敗がLLM幻覚を引き起こす仕組み：研究からの証拠

学位論文の研究では、マルチエージェントLLMパイプラインにおける幻覚検出と緩和を調査している。その作業の一部は、エージェントの軌跡全体に現れる障害モードの分類法を構築し、各障害タイプが発生する条件を特徴付けることである。検索関連の障害は、頻度と出力品質への下流影響の両方で、一貫して主要なカテゴリを占める。

HaluEval、TruthfulQA、FaithDialに関する実験評価では、他の点では適切に構成された生成段階のパイプラインでも、検索層の障害が一貫して幻覚のかなりの割合を占めることがわかった。この発見は、より広範な文献と一致している。スタンフォード大学のHELMベンチマーク評価とマギル大学のFaithDialコーパスの分析は、モデル規模ではなく、検索されたコンテキストへの忠実度が、知識に基づく生成タスクにおける事実精度の主要な予測因子であることを示している。

実験作業で最も一貫して現れた5つの検索障害モード：

1. 検索ドリフト：検索されたチャンクは埋め込み空間でクエリに意味的に近いが、回答するにはコンテキストが不十分。マルチホップクエリでよく見られ、単一の埋め込みでは必要な情報全体を表現できない。
2. コンテキストトランケーション：検索されたチャンクが大きすぎてモデルのコンテキストウィンドウをオーバーフローすると、トランケーションが情報を静かに削除する。モデルはパラメトリックメモリに依存して補償する。
3. 古いインデックスの汚染：古いドキュメントが引き続き上位kマッチとして表示される。モデルは時間的に有効なコンテンツと無効なコンテンツを区別するメカニズムを持たない。
4. 低関連性のtop-k検索：クエリに密接に一致するドキュメントがない場合でも、検索器は関連性に関係なく上位kの結果を返す。これらの低シグナルチャンクはコンテキストウィンドウを希釈し、モデルはノイズを生成に組み込む。
5. エージェント間のコミュニケーションミス：マルチエージェントパイプラインでは、上流エージェントの検索障害が下流の全エージェントに伝播・増幅され、出力層では見えない複合的な劣化を生み出す。

これらの障害が特に重大なのは、その不可視性にある。単に「わからない」と言うモデルとは異なり、質の悪い検索コンテキストから生成されたモデルは、しっかりとした自信に満ちた出力を生成する。検出にはグラウンドトゥルース比較か専用の評価層が必要であり、どちらもほとんどのデプロイ済みシステムにはデフォルトで存在しない。

モデルのスケーリングが検索問題を解決しない理由

RAGパフォーマンスの低下に対する一般的で理解可能な反応は、モデルの能力に起因するとし、スケールアップ（より大きなモデル、より良いファインチューニング、より高度な基盤）で対処することである。この直感は単独では合理的だが、検索品質が根本原因である場合、問題を誤診している。

熟練したアナリストに改ざんされたレポートが渡されたと考える。アナリストの専門知識はソース資料の質から保護するものではなく、与えられたものから説得力のある議論を構築するのをより効果的にするだけである。より高性能なLLMに質の低い検索コンテキストを与えると、まさにこの結果を生み出す。より流暢な幻覚である。モデルの追加能力は、悪い入力を合理化し詳しく説明するために適用され、それらを修正するためには使われない。

高品質な検索を持つ小さなモデルと劣化した検索を持つ大きなモデルの実験比較では、小さなモデルが一貫してより忠実な出力を生成した。生成層ではなく検索層が、事実精度の実効的な上限を設定する。検索品質の改善への投資は、パイプライン全体で複利的なリターンをもたらし、最終的にどのモデルが使われるかに関係ない。

検索品質の4つの次元

検索品質の改善は単一の介入ではなく、インデックス作成と検索パイプライン全体にわたる複合的な意思決定のセットである。以下の4つの次元は、実験的知見とより広範な研究文献の両方に基づく、最もレバレッジの高い領域を表している。

1. 埋め込みモデルの選択

埋め込みモデルは、意味がベクトル空間でどのようにエンコードされるかを決定する。汎用埋め込みモデルは多くのドメインで適切に機能するが、特に技術、法律、生物医学などの専門的なコーパスでは測定可能な劣化を示す。コミットする前に、ターゲットドメインの実際のクエリの代表サンプルに対して複数の埋め込みモデルをベンチマークすることは、システムの運用期間全体にわたって配当を生む投資である。

2. チャンキングアーキテクチャ

チャンキング戦略は、しばしば過小評価される検索精度への大きな影響を持つ。固定サイズの文字チャンキングは、任意の境界で意味単位を壊し、構文的に不完全なチャンクを生成し、埋め込み空間での表現が貧弱になる。より効果的なアプローチには、文境界チャンキング、段落構造を尊重する再帰的分割、各子チャンクとともに親ドキュメントコンテキストを保持する階層的チャンキングが含まれる。

3. 検索戦略

単純なtop-kベクトル類似度検索は妥当な出発点だが、本番システムにとって最適な構成であることはほとんどない。3つの拡張が検索精度に測定可能な改善をもたらすことが一貫して示されている：

• ハイブリッド検索：密ベクトル検索と疎なBM25キーワード検索を組み合わせ、相補的なシグナルを捉える。密検索は意味的類似性を扱い、疎検索は完全一致とレアタームクエリを扱う。
• クロスエンコーダー再順位付け：Bi-encoder検索器は効率的に候補を取得する。Cross-encoder再順位付け器は各候補を完全なクエリと共同でスコアリングし、計算負荷は高いが精度は大幅に向上する。
• 関連性しきい値：チャンクがコンテキストウィンドウに入る前に最小類似度スコアを強制し、低関連性のtop-k障害モードを防ぐ。どのチャンクもしきい値を満たさない場合、システムは明示的にそのことを示すべきである。

4. インデックスメンテナンスと鮮度

検索品質の時間的次元は、ほとんどのRAG実装で十分に扱われていない。ベクトルインデックスは、インデックス作成時点のソースドキュメントの状態を反映する。能動的なメンテナンスがなければ、インデックス品質は基盤となるドメインの変化率に比例して劣化する。本番システムでは、ドキュメントの追加や変更を迅速に検出するインクリメンタルインデックスパイプラインが必要である。ドキュメントメタデータ、特にタイムスタンプは、クエリ時に新しさに重みを付けたり、古い結果をフィルタリングするために使用できる。

検索品質の評価：実用的な測定フレームワーク

測定なしに検索品質を改善することはできない。以下のメトリクスは、検索パフォーマンスを定量化するための構造化フレームワークを提供する：

• コンテキスト精度：検索されたチャンクのうち、クエリに真に関連する割合。低精度はノイズの多いコンテンツがコンテキストウィンドウに入ることを示す。
• コンテキスト再現率：クエリに回答するために必要な情報が検索セットに存在する割合。低再現率はモデルにパラメトリックメモリへの依存を強いる。
• 忠実度：生成された応答が検索されたコンテキストによって含意される程度。これは、検索品質がグラウンディングされた生成に変換されるかどうかを測定する重要なエンドツーエンドメトリックである。
• 平均逆順位（MRR）：ランク付けされた検索結果に対して、MRRは最初の真に関連するドキュメントの平均位置を測定する。

RAGASなどのフレームワークはこれらのメトリクスを運用可能にし、CI/CDワークフローと並行して実行される評価パイプラインに統合できる。目標は、検索品質を追跡、監視、履歴比較可能な量にすることであり、初期システム開発中の一度きりの監査ではない。

複合問題：マルチエージェントシステムにおける検索障害

シングルエージェントRAGシステムでは、検索障害の影響は限定的である。1つのクエリ、1つの生成、1つの評価対象出力。マルチエージェントシステムでは、専門エージェントが順次動作し、互いにコンテキストを渡すため、構造的に異なる問題に直面する。どの段階での検索障害も封じ込められず、伝播する。

典型的なマルチエージェントパイプラインを考えてみよう。リサーチエージェントがソース資料を検索し、合成エージェントがそれを要約し、推論エージェントが要約から結論を導き、応答エージェントが最終出力を策定する。リサーチエージェントの検索が低関連性チャンクや古いドキュメントで汚染されると、合成エージェントはその欠陥のあるコンテンツを自信ありげな要約に圧縮する。次に推論エージェントはその要約を確立された事実として扱う。応答エージェントは、推論連鎖が腐った基盤の上にあることを示さずに結論をフォーマットし提示する。

このパターンは、研究分類法の「エージェント間コミュニケーションミス」に該当し、上流の検索障害によって引き起こされる。その定義的特徴は、出力層での障害シグネチャが検索層での起源から完全に切り離されていることである。診断には、最終応答を検査するだけでなく、完全なエージェント軌跡をトレースする必要がある。標準的な出力レベルの評価手法は、このクラスのエラーに対してほとんど盲目的である。

アーキテクチャ上の含意は重要である。検索を実行する、または検索から派生したコンテキストを消費する各エージェントは、独自の品質検証メカニズムを必要とする。定義された関連性と鮮度基準を満たさないコンテキストは、フラグが立てられ、下流エージェントに渡さず、またはレビューのためにエスカレーションされるべきであり、信頼できるかのように静かに渡してはならない。

本番システムのための実践的な推奨事項

以下の推奨事項は、実験的知見と実際のシステム設計経験に基づく、最もレバレッジの高い介入を反映している。初めて検索品質に取り組むチーム向けに優先順位付けされている。

最初にモデルアップグレードではなく、検索監査から始める。生成層パラメータを調整する前に、代表的なクエリセットに対して50～100の検索結果を手動で調べる。主要な問題がチャンキング品質、埋め込みのモデル適合性、インデックスの陳腐化、しきい値構成のいずれであるかを特定する。

ハイブリッド検索をベースラインとして実装する。純粋な密検索は現実世界のコーパスで常にハイブリッド構成に劣る。BM25コンポーネントは、特に技術的識別子やドメイン固有の用語を含むクエリに対して、精度向上と比較して最小限のレイテンシを追加する。

検索しきい値を明示的に強制する。検索されたチャンクが生成層に渡されない最小類似度スコアを構成する。コンテキストを返さずにそのことを伝えるシステムは、無関係な素材から静かに生成するシステムよりもはるかに信頼できる。

継続的な忠実度ベースラインを確立する。自動化された評価フレームワークを使用して、パイプライン変更の前後でホールドアウトクエリセットの忠実度を測定する。忠実度を、レイテンシやスループットと並んで追跡される第一級のシステムメトリックとして扱う。

マルチエージェントアーキテクチャでは、すべての検索ポイントでコンテキストをゲーティングする。検索を実行する、または上流エージェントからの検索コンテキストに依存する各エージェントは、そのコンテキストを推論に組み込む前に、独立した関連性検証ステップを適用する必要がある。

まとめ

検索品質はRAGベースのシステムにおける二次的な関心事ではない。言語モデルが信頼性のあるグラウンディングされた出力を生成するか、一貫性のある検出不可能な幻覚を生成するかの主要な決定要因である。マルチエージェントLLMパイプラインにおける幻覚検出の研究は、障害頻度と出力信頼性への下流影響の両方において、検索層が最もレバレッジの高い介入ポイントであることを一貫して指摘している。

実践的な道筋は明確である。検索品質を明示的に測定し、チャンキングと埋め込みの決定をモデル選択に適用するのと同じ厳密さで扱い、モデルが貧弱なコンテキストを補償するのに頼るのではなく関連性しきい値を強制し、マルチエージェントシステムでは各エージェントの検索インターフェースを検証を必要とする独立したリスク面として扱うこと。

生成層は応用LLM研究とエンジニアリングで最も注目を集めている。検索層はもっと注目に値する。