企业AI代理越来越多地运行在受限的检索系统、委托工作流和策略约束的证据环境中。在这些设置中,访问控制可能被正确执行,但系统仍会给出看似完整的答案,而关键证据却位于调用者的授权边界之外。为了量化这一失败模式,Krti Tallam提出了“部分证据基准”(Partial Evidence Bench),这是一个确定性基准测试,专门衡量授权受限证据导致的完整性缺失问题。该基准包含三个场景家族:尽职调查、合规审计和安全事件响应,共计72个任务。每个任务都配套有ACL分区的语料库、完整答案的Oracle、授权视图的Oracle、完整性判断Oracle以及结构化差距报告Oracle,确保测试的确定性和可重复性。基准从四个维度评估系统:答案正确性、完整性意识、差距报告质量和危险完整性行为。实验结果显示,静默过滤在所有场景中都是灾难性的不安全行为,而明确报告失败(即fail-and-report)的行为可以消除危险完整性,同时不会使任务退化为简单的弃权。初步的真实模型运行表明,系统在完整性宣称上的行为存在模型依赖和场景敏感性差异:有的过度宣称完整性,有的保守地少报,有的以企业可用形式报告不完整性。该基准的主要贡献在于,它能够无需人工评判或易受污染的静态语料库,即可衡量这一治理关键的代理失败模式,为企业在部署AI代理时评估其完整性和安全性提供了重要的工具。此外,基准的设计允许轻松扩展新的场景和任务,未来可以涵盖更多类型的授权受限证据问题。这使得Partial Evidence Bench成为AI治理领域一个实用且可扩展的评估框架。
部分证据基准:衡量智能系统中授权受限的证据
文章摘要
本文介绍了“部分证据基准”(Partial Evidence Bench),这是一个确定性基准测试,用于衡量当企业AI代理在授权受限环境中运行时,因无法访问全部证据而导致答案看似完整实则遗漏关键信息的失败模式。基准包含尽职调查、合规审计和安全事件响应三个场景,共72个任务。测试结果显示,静默过滤极度不安全,而明确报告失败的行为能消除不安全完整性。
部分证据基准:衡量智能系统中授权受限的证据