LayerRAG-Bench：面向代理式检索增强生成的跨层可靠性基准
代理式检索增强生成（RAG）系统可能生成看似有依据的答案，但在证据、工具合约、授权或会话状态层出现故障。本文提出 LayerRAG-Bench，一个受控的跨层可靠性基准，涵盖 8 个企业领域、240 个任务、9 种故障场景、2 种合约模式，以及来自 OpenAI、Anthropic 和 Gemini 的 9 个模型共 38,880 条实时任务记录。模式规范化可将模式漂移成功率从 0.000 提升到 0.913，但无法恢复过期证据、缺失工具输出、权限拒绝和错误会话上下文。仅评估基于证据的答案也会在过期和错误会话证据下产生大量误报。结果支持逐层评估原则：可靠性干预应只记为其修复目标层的贡献，而不应被视为通用修复。
代理式检索增强生成（Agentic RAG）系统在企业应用中越来越普遍。这类系统在回答复杂问题时，会先检索外部知识，再调用工具，并依据多轮会话的上下文生成答案。然而，这种多层流水线也带来了新的可靠性隐患。一个系统完全可能生成一段看似“有根有据”的回答，但在证据层、工具合约层、授权层或会话状态层中某处已经悄然出错。更棘手的是，这类失败往往无法被传统的答案质量指标有效捕捉。
为了系统性地测量和剖析这些跨层故障，独立研究者 Musa Shams 在 2026 年 7 月 29 日提交了一篇题为《LayerRAG-Bench: A Cross-Layer Reliability Benchmark for Agentic Retrieval-Augmented Generation》的论文（arXiv:2607.27353）。论文共 10 页、9 张表格，并公开了代码和数据。该研究提出了 LayerRAG-Bench——一个受控的跨层可靠性基准，覆盖 8 个企业领域、240 个任务、9 种故障场景和 2 种合约模式。研究者在 OpenAI、Anthropic 和 Gemini 的 9 个模型上进行了大规模评测，共收集 38,880 条实时任务级记录。
LayerRAG-Bench 的设计核心在于“分层”与“可控”。研究者将代理式 RAG 的可靠性拆分为四个层面：证据检索是否正确、工具调用是否符合合约、授权是否被正确执行、会话状态是否被正确使用。基于这些层，他们构造了 9 种故障场景，包括模式漂移（schema drift）、证据过期、工具输出缺失、权限被拒绝、错误会话上下文等。合约模式则分为两种，用来模拟不同风格的 API 合约。
实验中最引人注目的结果是：通过模式规范化（schema normalization），模式漂移场景下的任务成功率从 0.000 提升到 0.913。这说明这类故障的修复可以非常有效。然而，模式规范化并不能解决其他层的问题。对于过期证据、缺失的工具输出、被拒绝的权限以及错误的会话上下文，模式规范化几乎不起作用。这意味着不同层的故障需要针对性的修复策略，而不存在一种万能方法。
另一个重要发现与评估方式有关。研究显示，如果只依赖“有根据性”（groundedness）来评估答案，那么在证据过期或使用了错误会话证据的场景下，会出现大量误报。也就是说，系统给出的答案看似与检索证据一致，实际上依据的是过时或不相关的材料。因此，作者提出了一种“逐层评估”的原则：一项可靠性干预措施，应当只在其目标修复的层上获得认可；不能因为它在某一层有效，就将其视为全能的通用修复方案。
LayerRAG-Bench 的贡献不仅在于评测，还在于为后续研究提供了一种方法论框架。论文中给出了明确的分层故障注入方法和评估协议，并开源了相关代码和数据。对于正在构建企业级 RAG 产品的工程师和研究者来说，这个基准可以帮助他们更精确地定位系统薄弱环节，从而制定更有效的可靠性优化策略。