检索增强生成（Retrieval-Augmented Generation, RAG）通过外部知识库增强大型语言模型的能力，已成为人工智能领域的重要技术方向。然而，当前对RAG系统的评估方法存在根本性缺陷。大多数评估依赖离散的启发式指标，这些指标无法区分模型是真正从提供的上下文中提取信息，还是仅仅依赖其内部存储的参数化记忆。这种“认知盲区”导致了评估结果的失真。为了弥补这一不足，Barak Or在2026年4月29日提交的论文中提出了归一化上下文利用（Normalized Context Utilization, NCU）指标。
NCU指标的核心思想是利用连续token的对数概率，在零样本、oracle和对抗性三种条件下，严格量化上下文信息增益。通过对比模型在有无上下文时的输出概率，NCU能够区分模型是真正利用了上下文，还是仅仅依赖其先验知识。研究者评估了参数规模从1.5B到72B的多种架构，包括开源的Llama、Mistral等模型，以及一个未公开的专有商业API。实验聚焦于严格的事实提取任务，不涉及链式推理。
结果令人惊讶。传统的扩展律——即模型越大性能越好——在这一任务上表现出极端的收益递减。高效的小语言模型（Small Language Models, SLMs）在大多数情况下匹配甚至超越了大型模型。例如，一个7B参数的模型与70B参数的模型在严格提取任务上表现相当，而计算成本却低得多。研究者将这种优势归因于小模型更强的上下文遵从性：它们更倾向于依赖外部信息，而不是自己的先验知识。
更值得关注的是“先验主导性”现象。研究者发现，随着模型规模增大以及商业对齐技术的应用，模型越来越倾向于优先使用其参数化记忆，而非外部上下文。评估的商业API在近一半的对抗性测试中覆盖了明确的外部证据——即当提供的上下文与模型先验知识矛盾时，模型仍然输出其先验答案。此外，当模型意识到其先验被矛盾时，经常出现系统性的置信度崩溃，即模型输出极低概率的随机答案，这种现象被称为“负迁移”。
这些发现对RAG系统的设计和选择有着重要启示。首先，对于严格事实提取任务，不必追求超大模型，高效的小模型在成本和性能上更具优势。其次，商业API的“先验主导性”问题可能严重影响RAG的可靠性，尤其是在处理与训练数据分布不同的查询时。最后，NCU指标为评估RAG系统提供了更精细的工具，有助于未来开发更鲁棒的上下文利用机制。论文还指出，未来的工作可以探索如何通过训练或提示工程来增强模型的上下文遵从性，以及如何在大模型中缓解先验主导性问题。