跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

合规性作为一种分布:委托契约、误差预算与基于使用的AI监管中的评估权分配

文章摘要

本文提出用“部署失败率”替代“基准分数”作为合规证据对象,并研究部署方、审计方与执法点之间的策略博弈。作者给出五种机制与命题,以解决声明混合分布的真实性、审计无偏性、长期认证预算、子群保证成本以及事件指标误导等问题。研究基于五个预注册的合成实验,未评估任何语言模型或生产系统。

来源arXiv AI作者: John deVadoss
合规性作为一种分布:委托契约、误差预算与基于使用的AI监管中的评估权分配
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

本文考察的是基于使用场景的人工智能监管中的一致性认定问题。此类监管按部署风险分配义务,却缺少一个能够承载这些义务的证据对象。论文指出,基准分数只是模型的一种属性,而一次部署的“一致性”应当被理解为:在某一明确声明的上下文分布之下、受适用范围约束并设有有效期的失败率。作者沿用此前提出的委托契约框架,其中包括冻结配置、限定范围内的声明以及可执行的修订规则,并在部署方、审计方与执法节点之间的策略性博弈中对该框架进行分析。

论文围绕五个问题展开。第一,所声明的上下文混合能否被做得真实可信?作者给出的机制是对所声明的混合施加适当评分惩罚,并证明最优回应的部署方所产生的超额失败被该惩罚权重的 O(λ^{-1/2}) 所约束。第二,审计能否在面对能够识别评估流量的系统时保持无偏?作者提出一种从真实流量中抽取的承诺—揭示式审计,它在构造上即无偏,并且用同一样本对评估方本身进行评分。第三,认证误差预算能否支撑长期运行的部署?论文说明,折半式误差预算会使认证覆盖率降至 (1-p)^n 以下,而采用 α 投资方式则可在边际误认证保证下维持覆盖率。

第四,聚合审计能否支撑按子群给出的保证?作者指出,要获得逐子群保证,审计规模需要随子群质量按 1/m 的比例扩大。第五,若事件度量只统计系统失败而不计入回退成本,能否正确排列不同部署安排?论文证明,任何仅关注失败的度量都会在任意回退成本下偏向“撤回”这一选择,即使按总损失排序时各安排的先后次序恰好相反。

作者通过五项预先注册的合成研究对上述每一项主张进行了检验,并明确说明研究中没有评估任何语言模型或生产系统。这一限制意味着结论属于机制与命题层面的理论结果加合成验证,而非对现实部署的实证测量。

在监管落地层面,论文认为执法应位于分发、能力获取、变现与风险转移这几个关键节点;一致性记录的有效期构成一种注意义务标准;而“一致性即速率”的路径应与欧盟《人工智能法案》所采用的静态符合性评估形成对照。作者 John deVadoss 于 2026 年 10 月 23 日提交该论文,arXiv 编号为 2610.33112,属于 cs.AI 分类,ACM 分类涵盖 K.4.1、K.5.2、I.2.6、J.4 与 G.3。

展开要点与分析

文章情报

投资人进阶

要点

  • 合规性应定义为声明上下文分布下的失败率,有范围且会过期,而非模型基准分数。
  • 对声明混合分布施加适当评分惩罚可将最佳响应部署方的超额失败限制在惩罚权重的O(λ^{-1/2})内。
  • 基于实时流量的提交-揭示审计天然无偏,且同一审计样本可同时评估部署方和评估方。
  • 仅统计系统失败而忽略回退成本的事件指标会偏好退出策略,即使总损失排序相反。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。