审计之审计：基准有效性审计的五种失败模式
本文指出，基于扰动的构造有效性审计本身存在脆弱性，其结论可能被读者看不到的实现细节悄然操控。作者命名了五种管道失败模式（F1-F5），并通过在两个模型和五个安全基准上的自我审计进行了演示。在一个统一的六点尽职调查门控下，所有单元均未达到确认标准。该门控被定位为用于保证级证据的扣留与披露协议，补充而非替代经典的构造有效性证据。
近日，一项发表于arXiv的研究《审计之审计：基准有效性审计的五种失败模式》对AI安全评估中常用的基准有效性审计提出了深刻质疑。研究指出，这类审计本身存在脆弱性，其结论可能被读者无法从报告数字中察觉的实现细节悄然操控。
研究者定义了五种管道失败模式（F1-F5），包括但不限于数据泄露、评估指标误用、基线选择偏差等。为了验证这些模式的實際影响，他们开展了一项自我审计，使用两个开源指令微调模型和五个安全基准。报告显示，在一个统一的六点尽职调查门控下，所有测试单元均落入了非确认区间，没有任何一项达到确认标准。
值得注意的是，研究者强调该分类（F1-F5）是说明性的、故意非穷尽的起始分类法，并非审计失败的完整划分。他们提出的门控机制是一个用于保证级证据的扣留与披露协议，旨在补充而非替代经典的构造有效性证据。研究者明确表示，该门控不应被视为通往基准有效性结论的途径。
该论文已被ICML 2026的TAIGR研讨会接收，共18页，含4张图表。它提醒AI治理领域，在依赖审计结果时需要更加谨慎，并呼吁对评估管道中的潜在失败保持警惕。本文对AI安全评估领域具有重要启示，为评估管道的透明度和可靠性提出了新的思考方向。