ディープニューラルネットワーク（DNN）のテストにおいて、既存の手法は固定のラベリング予算を前提とし、モデル故障を明らかにしやすい入力を優先的に選択する。しかし、実際の現場で適切な予算を設定することは非常に難しい：予算が少なすぎると故障を見逃し、多すぎると不要なラベリングコストが発生する。この問題に対処するため、研究者らはAdaStopフレームワークを提案した。これはDNNテストをコスト・ベネフィットの意思決定プロセスとして捉え、ラベリングをいつ停止するかを適応的に決定する。
AdaStopの核心は、各テスト入力のラベリングにはコストcがかかり、故障の発見には価値vがあるという前提に基づいている。フレームワークはテスト中に限界故障発見率、すなわち追加の入力をラベリングすることで新たに発見される故障の数を推定し、その推定値が閾値τ=c/vを下回った時点でラベリングを自動停止する。これにより、固定予算に頼ることなく、コストと故障検出のバランスを最適化できる。
実験では、画像分類やセマンティックセグメンテーションを含む複数のデータセット、ResNetやVGGなどの多様なネットワークアーキテクチャ、および異なる選択戦略の下で評価が行われた。結果は一貫して、AdaStopがラベリング予算のわずか9%から31%を使用するだけで、故障の65%から84%を発見できることを示した。これは、テストチームが故障カバレッジを大幅に犠牲にすることなく、ラベリングコストを劇的に削減できる可能性を意味する。
本論文は2026年7月6日にarXiv（ID: 2607.05461）に投稿され、Bonan Shenら5名の著者によるものである。コードとデータは後日公開される予定であり、コミュニティによる再現とさらなる研究が期待される。この研究は、大規模DNNシステムの信頼性検証に新たなアプローチを提供し、AIテストにおけるコスト最適化の進展に寄与するものと言える。