跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

AdaStop:基于成本意识的DNN测试早期停止方法

文章摘要

本文提出AdaStop框架,将DNN测试建模为成本-收益决策过程,通过估计边际故障发现率并在其低于阈值时自动停止标注,在仅使用9%-31%标注预算的情况下发现65%-84%的故障,显著降低了测试成本。

来源arXiv Machine Learning作者: Bonan Shen, Wei-Jung Huang, Xin Liu, Jiazhou Gao, Tao Ning
AdaStop:基于成本意识的DNN测试早期停止方法
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

在深度神经网络(DNN)测试中,现有方法通常假设一个固定的标注预算,并优先选择那些最可能揭示模型故障的测试输入。然而,在实际应用中,如何选择合适的预算是一个棘手的问题:预算过少会导致大量故障被遗漏,而预算过多则会造成不必要的标注成本,增加开发和部署的开销。针对这一挑战,来自研究人员提出了名为AdaStop的框架,将DNN测试转化为一个成本-收益决策过程,从而自适应地决定何时停止标注。

AdaStop的核心思想非常直观:每次对测试输入进行标注都会产生一定的成本(c),而成功发现一个故障则带来相应的价值(v)。基于这一假设,AdaStop在测试过程中动态估计边际故障发现率,即每多标注一个输入所能发现的新故障数量。当这一估计值下降到低于阈值τ=c/v时,系统认为继续标注的收益已经无法弥补成本,因而自动停止标注。这种方法不仅避免了固定预算的盲目性,还能够在成本和故障检测之间实现最优平衡。

在实验验证部分,研究团队在多个公开数据集(包括图像分类、语义分割等任务)、多种主流网络架构(如ResNet、VGG等)以及不同的测试输入选择策略下进行了评估。结果一致表明,AdaStop仅使用了9%到31%的总标注预算,就成功发现了65%到84%的模型故障。这一成果意味着,在实际应用中,测试团队可以在不显著牺牲故障覆盖率的前提下,大幅降低标注成本,从而提高DNN测试的效率和经济性。

目前,该论文已经提交至arXiv(编号:2607.05461),并于2026年7月6日上线。论文的作者包括Bonan Shen等五位研究人员。他们表示,相关的代码和数据集将在后续发布,以便社区复现和进一步研究。这一工作为大规模DNN系统的可靠性验证提供了新的思路,有望推动AI测试领域的成本优化方法发展。

展开要点与分析

文章情报

工程师进阶

要点

  • 现有DNN测试方法难以确定标注预算,导致要么遗漏故障要么浪费成本
  • AdaStop将测试视为成本-收益决策,每次标注有成本c,发现故障有价值v
  • 框架持续估计边际故障发现率,当估计率低于阈值τ=c/v时停止标注
  • 实验表明,在多个数据集和架构下,仅用9%-31%预算即可发现65%-84%故障

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。