跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

部分证据基准:衡量智能系统中授权受限的证据

文章摘要

本文介绍了“部分证据基准”(Partial Evidence Bench),这是一个确定性基准测试,用于衡量当企业AI代理在授权受限环境中运行时,因无法访问全部证据而导致答案看似完整实则遗漏关键信息的失败模式。基准包含尽职调查、合规审计和安全事件响应三个场景,共72个任务。测试结果显示,静默过滤极度不安全,而明确报告失败的行为能消除不安全完整性。

来源arXiv AI作者: Krti Tallam
部分证据基准:衡量智能系统中授权受限的证据
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

企业AI代理越来越多地运行在受限的检索系统、委托工作流和策略约束的证据环境中。在这些设置中,访问控制可能被正确执行,但系统仍会给出看似完整的答案,而关键证据却位于调用者的授权边界之外。为了量化这一失败模式,Krti Tallam提出了“部分证据基准”(Partial Evidence Bench),这是一个确定性基准测试,专门衡量授权受限证据导致的完整性缺失问题。该基准包含三个场景家族:尽职调查、合规审计和安全事件响应,共计72个任务。每个任务都配套有ACL分区的语料库、完整答案的Oracle、授权视图的Oracle、完整性判断Oracle以及结构化差距报告Oracle,确保测试的确定性和可重复性。基准从四个维度评估系统:答案正确性、完整性意识、差距报告质量和危险完整性行为。实验结果显示,静默过滤在所有场景中都是灾难性的不安全行为,而明确报告失败(即fail-and-report)的行为可以消除危险完整性,同时不会使任务退化为简单的弃权。初步的真实模型运行表明,系统在完整性宣称上的行为存在模型依赖和场景敏感性差异:有的过度宣称完整性,有的保守地少报,有的以企业可用形式报告不完整性。该基准的主要贡献在于,它能够无需人工评判或易受污染的静态语料库,即可衡量这一治理关键的代理失败模式,为企业在部署AI代理时评估其完整性和安全性提供了重要的工具。此外,基准的设计允许轻松扩展新的场景和任务,未来可以涵盖更多类型的授权受限证据问题。这使得Partial Evidence Bench成为AI治理领域一个实用且可扩展的评估框架。

展开要点与分析

文章情报

工程师进阶

要点

  • 企业AI代理常因授权限制无法获取完整证据,却给出看似完整的答案。
  • 部分证据基准通过72个任务和四个评估面衡量这种失败模式。
  • 静默过滤在所有场景中都表现出灾难性的不安全行为。
  • 明确报告失败的行为能有效消除不安全完整性,同时避免任务退化。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。