検索拡張生成（Retrieval-Augmented Generation, RAG）は、外部知識ベースを活用して大規模言語モデルの能力を強化する技術であり、人工知能分野で重要な方向性となっている。しかし、現在のRAGシステムの評価方法には根本的な欠陥がある。ほとんどの評価は離散的なヒューリスティック指標に依存しており、モデルが提供された文脈から真に情報を抽出しているのか、それとも内部のパラメトリック記憶に依存しているのかを区別できない。この「認識的盲目性」により、評価結果が歪められている。この問題に対処するため、Barak Orは2026年4月29日に提出された論文で、正規化文脈利用（Normalized Context Utilization, NCU）指標を提案した。
NCU指標の核心は、連続トークンの対数確率を利用し、ゼロショット、オラクル、敵対的の三つの条件下で文脈情報の利得を厳密に定量化することにある。モデルが文脈がある場合とない場合の出力確率を比較することで、NCUはモデルが本当に文脈を利用しているのか、それとも事前知識に依存しているのかを識別できる。研究者は、1.5Bから72Bパラメータの多様なアーキテクチャ（Llama、Mistralなどのオープンモデルを含む）と、未公開の専有商用APIを評価した。実験は連鎖的推論を伴わない厳密な事実抽出タスクに焦点を当てた。
結果は驚くべきものだった。従来のスケーリング則——モデルが大きいほど性能が向上する——は、このタスクにおいて極端な収穫逓減を示した。効率的な小規模言語モデル（Small Language Models, SLMs）は、ほとんどのケースで大規模モデルに匹敵するか、それを上回る性能を発揮した。例えば、7Bパラメータのモデルが70Bパラメータのモデルと厳密な抽出タスクで同等の性能を示し、計算コストははるかに低かった。研究者はこの優位性を、小モデルが外部情報に依存しやすく、事前知識に頼りにくいという、より強い文脈順守性に起因するとしている。
さらに注目すべきは「事前優位性」の現象である。研究者は、モデル規模の増大や商業的な調整技術の適用に伴い、モデルが外部文脈よりもパラメトリック記憶を優先する傾向が強まることを発見した。評価された商用APIは、敵対的テストのほぼ半数において明示的な外部証拠を無効にした。つまり、提供された文脈がモデルの事前知識と矛盾する場合でも、モデルは事前知識に基づく回答を出力した。さらに、モデルが事前知識の矛盾を認識した場合、しばしばシステム的な信頼度の崩壊——非常に低い確率のランダムな回答を出力する——が発生し、これは「負の転移」と呼ばれる。
これらの発見は、RAGシステムの設計と選択に重要な示唆を与える。第一に、厳密な事実抽出タスクでは超大規模モデルを追求する必要はなく、効率的な小モデルがコストと性能の面で有利である。第二に、商用APIの「事前優位性」問題は、特に訓練データの分布とは異なるクエリを処理する際に、RAGの信頼性を大きく損なう可能性がある。最後に、NCU指標はRAGシステムの評価に精密なツールを提供し、将来のより堅牢な文脈利用メカニズムの開発に役立つ。論文はまた、将来の研究として、訓練やプロンプトエンジニアリングによるモデルの文脈順守性の強化、大規模モデルにおける事前優位性の緩和などを挙げている。