跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

AdaStop:基於成本意識的DNN測試早期停止方法

文章摘要

本文提出AdaStop框架,將DNN測試建模為成本-收益決策過程,通過估計邊際故障發現率並在其低於閾值時自動停止標註,在僅使用9%-31%標註預算的情況下發現65%-84%的故障,顯著降低了測試成本。

來源arXiv Machine Learning作者: Bonan Shen, Wei-Jung Huang, Xin Liu, Jiazhou Gao, Tao Ning
AdaStop:基於成本意識的DNN測試早期停止方法
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

在深度神經網絡(DNN)測試中,現有方法通常假設一個固定的標註預算,並優先選擇那些最可能揭示模型故障的測試輸入。然而,在實際應用中,如何選擇合適的預算是一個棘手的問題:預算過少會導致大量故障被遺漏,而預算過多則會造成不必要的標註成本,增加開發和部署的開銷。針對這一挑戰,來自研究人員提出了名為AdaStop的框架,將DNN測試轉化為一個成本-收益決策過程,從而自適應地決定何時停止標註。

AdaStop的核心思想非常直觀:每次對測試輸入進行標註都會產生一定的成本(c),而成功發現一個故障則帶來相應的價值(v)。基於這一假設,AdaStop在測試過程中動態估計邊際故障發現率,即每多標註一個輸入所能發現的新故障數量。當這一估計值下降到低於閾值τ=c/v時,系統認為繼續標註的收益已經無法彌補成本,因而自動停止標註。這種方法不僅避免了固定預算的盲目性,還能夠在成本和故障檢測之間實現最優平衡。

在實驗驗證部分,研究團隊在多個公開數據集(包括圖像分類、語義分割等任務)、多種主流網絡架構(如ResNet、VGG等)以及不同的測試輸入選擇策略下進行了評估。結果一致表明,AdaStop僅使用了9%到31%的總標註預算,就成功發現了65%到84%的模型故障。這一成果意味着,在實際應用中,測試團隊可以在不顯著犧牲故障覆蓋率的前提下,大幅降低標註成本,從而提高DNN測試的效率和經濟性。

目前,該論文已經提交至arXiv(編號:2607.05461),並於2026年7月6日上線。論文的作者包括Bonan Shen等五位研究人員。他們表示,相關的代碼和數據集將在後續發佈,以便社區復現和進一步研究。這一工作為大規模DNN系統的可靠性驗證提供了新的思路,有望推動AI測試領域的成本優化方法發展。

展開要點與分析

文章情報

工程師進階

要點

  • 現有DNN測試方法難以確定標註預算,導致要麼遺漏故障要麼浪費成本
  • AdaStop將測試視為成本-收益決策,每次標註有成本c,發現故障有價值v
  • 框架持續估計邊際故障發現率,當估計率低於閾值τ=c/v時停止標註
  • 實驗表明,在多個數據集和架構下,僅用9%-31%預算即可發現65%-84%故障

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。