在深度神经网络(DNN)测试中,现有方法通常假设一个固定的标注预算,并优先选择那些最可能揭示模型故障的测试输入。然而,在实际应用中,如何选择合适的预算是一个棘手的问题:预算过少会导致大量故障被遗漏,而预算过多则会造成不必要的标注成本,增加开发和部署的开销。针对这一挑战,来自研究人员提出了名为AdaStop的框架,将DNN测试转化为一个成本-收益决策过程,从而自适应地决定何时停止标注。
AdaStop的核心思想非常直观:每次对测试输入进行标注都会产生一定的成本(c),而成功发现一个故障则带来相应的价值(v)。基于这一假设,AdaStop在测试过程中动态估计边际故障发现率,即每多标注一个输入所能发现的新故障数量。当这一估计值下降到低于阈值τ=c/v时,系统认为继续标注的收益已经无法弥补成本,因而自动停止标注。这种方法不仅避免了固定预算的盲目性,还能够在成本和故障检测之间实现最优平衡。
在实验验证部分,研究团队在多个公开数据集(包括图像分类、语义分割等任务)、多种主流网络架构(如ResNet、VGG等)以及不同的测试输入选择策略下进行了评估。结果一致表明,AdaStop仅使用了9%到31%的总标注预算,就成功发现了65%到84%的模型故障。这一成果意味着,在实际应用中,测试团队可以在不显著牺牲故障覆盖率的前提下,大幅降低标注成本,从而提高DNN测试的效率和经济性。
目前,该论文已经提交至arXiv(编号:2607.05461),并于2026年7月6日上线。论文的作者包括Bonan Shen等五位研究人员。他们表示,相关的代码和数据集将在后续发布,以便社区复现和进一步研究。这一工作为大规模DNN系统的可靠性验证提供了新的思路,有望推动AI测试领域的成本优化方法发展。