Yanhang Liらによる本論文は、ICML 2026のTAIGRワークショップに採択されたもので、AIガバナンスの枠組みが依拠する評価証拠、とりわけ摂動ベースの構成概念妥当性監査の脆弱性を鋭く指摘する。ガバナンスの枠組みはAIプロバイダーや監査者に対し、文書化された評価証拠を求めており、摂動ベースの構成概念妥当性監査はその一般的な形態である。しかし著者らは、こうした監査自体が脆弱であると主張する。監査の結論は、報告された数値からは読者が見ることのできない実装の詳細によって、静かに製造され得るのだ。
論文では、パイプラインの失敗を5つのクラスに分類し、安全性ベンチマークとオープンウェイトの指示調整モデルに対する自己監査でそれぞれを実証している。これらはF1からF5と名付けられ、監査プロセスの各段階で生じ得る失敗に対応する。著者らはこの分類が例示的かつ意図的に非網羅的な出発点のタクソノミーであり、監査失敗の包括的な分割ではないと強調する。したがって、実際にはさらに多くの失敗類型が存在し得ることに留意すべきである。
実証部分では、2つのモデルと5つのベンチマークを対象とした単一のケーススタディが用いられている。著者らは監査証拠の信頼性を評価するための統一的な6点デューデリジェンスゲートを設計した。注目すべきは、このゲートの下で全てのセルが非確証的なバケットに分類され、確証レベルに達するセルが一つもなかった点である。この結果は、厳格なデューデリジェンス基準を満たす上での現在の監査実践の不十分さを浮き彫りにしている。
著者らはこのゲートを、保証グレードの証拠に対する留保・開示プロトコルとして位置づけている。それは古典的な構成概念妥当性証拠の代替ではなく、あくまで補完である。同時に、このゲートはベンチマーク妥当性の判定への経路と見なされるべきではないと明言する。本論文の貢献は、監査証拠に依拠する前に監査そのものを監査し、結論を静かに製造し得る実装詳細に注意を払う必要があると研究者やガバナンス機関に警告する点にある。
論文は18ページ、図4点からなり、ICML 2026のTAIGRワークショップに採択された。機械学習（cs.LG）とソフトウェア工学（cs.SE）の学際領域に位置する。本研究はAI評価の厳密性に警鐘を鳴らし、実行可能なデューデリジェンスの枠組みを提供するものである。その分類法とケーススタディの範囲は限定的ではあるが、今後のより包括的な監査失敗研究の基礎を築いている。