LayerRAG-Bench：面向代理式檢索增強生成的跨層可靠性基準
代理式檢索增強生成（RAG）系統可能生成看似有依據的答案，但在證據、工具合約、授權或會話狀態層出現故障。本文提出 LayerRAG-Bench，一個受控的跨層可靠性基準，涵蓋 8 個企業領域、240 個任務、9 種故障場景、2 種合約模式，以及來自 OpenAI、Anthropic 和 Gemini 的 9 個模型共 38,880 條實時任務記錄。模式規範化可將模式漂移成功率從 0.000 提升到 0.913，但無法恢復過期證據、缺失工具輸出、權限拒絕和錯誤會話上下文。僅評估基於證據的答案也會在過期和錯誤會話證據下產生大量誤報。結果支持逐層評估原則：可靠性干預應只記為其修復目標層的貢獻，而不應被視為通用修復。
代理式檢索增強生成（Agentic RAG）系統在企業應用中越來越普遍。這類系統在回答複雜問題時，會先檢索外部知識，再調用工具，並依據多輪會話的上下文生成答案。然而，這種多層流水線也帶來了新的可靠性隱患。一個系統完全可能生成一段看似“有根有據”的回答，但在證據層、工具合約層、授權層或會話狀態層中某處已經悄然出錯。更棘手的是，這類失敗往往無法被傳統的答案質量指標有效捕捉。
為了系統性地測量和剖析這些跨層故障，獨立研究者 Musa Shams 在 2026 年 7 月 29 日提交了一篇題為《LayerRAG-Bench: A Cross-Layer Reliability Benchmark for Agentic Retrieval-Augmented Generation》的論文（arXiv:2607.27353）。論文共 10 頁、9 張表格，並公開了代碼和數據。該研究提出了 LayerRAG-Bench——一個受控的跨層可靠性基準，覆蓋 8 個企業領域、240 個任務、9 種故障場景和 2 種合約模式。研究者在 OpenAI、Anthropic 和 Gemini 的 9 個模型上進行了大規模評測，共收集 38,880 條實時任務級記錄。
LayerRAG-Bench 的設計核心在於“分層”與“可控”。研究者將代理式 RAG 的可靠性拆分為四個層面：證據檢索是否正確、工具調用是否符合合約、授權是否被正確執行、會話狀態是否被正確使用。基於這些層，他們構造了 9 種故障場景，包括模式漂移（schema drift）、證據過期、工具輸出缺失、權限被拒絕、錯誤會話上下文等。合約模式則分為兩種，用來模擬不同風格的 API 合約。
實驗中最引人注目的結果是：通過模式規範化（schema normalization），模式漂移場景下的任務成功率從 0.000 提升到 0.913。這説明這類故障的修復可以非常有效。然而，模式規範化並不能解決其他層的問題。對於過期證據、缺失的工具輸出、被拒絕的權限以及錯誤的會話上下文，模式規範化幾乎不起作用。這意味着不同層的故障需要針對性的修復策略，而不存在一種萬能方法。
另一個重要發現與評估方式有關。研究顯示，如果只依賴“有根據性”（groundedness）來評估答案，那麼在證據過期或使用了錯誤會話證據的場景下，會出現大量誤報。也就是説，系統給出的答案看似與檢索證據一致，實際上依據的是過時或不相關的材料。因此，作者提出了一種“逐層評估”的原則：一項可靠性干預措施，應當只在其目標修復的層上獲得認可；不能因為它在某一層有效，就將其視為全能的通用修復方案。
LayerRAG-Bench 的貢獻不僅在於評測，還在於為後續研究提供了一種方法論框架。論文中給出了明確的分層故障注入方法和評估協議，並開源了相關代碼和數據。對於正在構建企業級 RAG 產品的工程師和研究者來説，這個基準可以幫助他們更精確地定位系統薄弱環節，從而制定更有效的可靠性優化策略。