在深度神經網路(DNN)測試中,現有方法通常假設一個固定的標註預算,並優先選擇那些最可能揭示模型故障的測試輸入。然而,在實際應用中,如何選擇合適的預算是一個棘手的問題:預算過少會導致大量故障被遺漏,而預算過多則會造成不必要的標註成本,增加開發和部署的開銷。針對這一挑戰,來自研究人員提出了名為AdaStop的框架,將DNN測試轉化為一個成本-收益決策過程,從而自適應地決定何時停止標註。
AdaStop的核心思想非常直觀:每次對測試輸入進行標註都會產生一定的成本(c),而成功發現一個故障則帶來相應的價值(v)。基於這一假設,AdaStop在測試過程中動態估計邊際故障發現率,即每多標註一個輸入所能發現的新故障數量。當這一估計值下降到低於閾值τ=c/v時,系統認為繼續標註的收益已經無法彌補成本,因而自動停止標註。這種方法不僅避免了固定預算的盲目性,還能夠在成本和故障檢測之間實現最優平衡。
在實驗驗證部分,研究團隊在多個公開資料集(包括影像分類、語義分割等任務)、多種主流網路架構(如ResNet、VGG等)以及不同的測試輸入選擇策略下進行了評估。結果一致表明,AdaStop僅使用了9%到31%的總標註預算,就成功發現了65%到84%的模型故障。這一成果意味著,在實際應用中,測試團隊可以在不顯著犧牲故障覆蓋率的前提下,大幅降低標註成本,從而提高DNN測試的效率和經濟性。
目前,該論文已經提交至arXiv(編號:2607.05461),並於2026年7月6日上線。論文的作者包括Bonan Shen等五位研究人員。他們表示,相關的程式碼和資料集將在後續釋出,以便社群復現和進一步研究。這一工作為大規模DNN系統的可靠性驗證提供了新的思路,有望推動AI測試領域的成本最佳化方法發展。