近日,一篇發表於arXiv的論文提出了一種名為ECUAS_n的全新度量族,旨在為不確定性增強(UA)系統的評估提供更原則性的方法。UA系統同時輸出預測結果和不確定性分數,在高風險自動決策場景中,如醫療診斷或自動駕駛,用户可根據應用特定的成本權衡選擇接受或拒絕預測。然而,現有評估方法往往分別評價預測準確性和不確定性質量,或使用固定拒絕成本等簡化假設,無法全面衡量系統在決策中的整體表現。
該論文由Lautaro Estienne等五位作者共同完成,他們指出當前常見的評估方式——如單獨使用指標、固定閾值或覆蓋率-風險曲線積分——均不能有效反映UA系統在真實決策中的效用。為此,他們提出了ECUAS_n度量族,基於Proper Scoring Rules(適當評分規則)構建,將預測和不確定性的聯合質量納入單一度量。其中參數n可調節錯誤預測成本與不完美不確定性之間的相對重要性,使度量能適應不同應用場景的特定需求。
研究團隊通過理論分析證明了ECUAS_n具備一致性和敏感性,並在多個分類和生成數據集上進行了實驗驗證,包括人工標註的TriviaQA子集。結果顯示,ECUAS_n能夠更準確地反映UA系統的決策效用,而傳統方法可能存在偏差。論文還提供了與其他度量(如Brier分數、覆蓋率-風險曲線下面積)的比較,凸顯了新方法的優勢。
該工作為不確定性輔助決策系統的評估提供了統一框架,有望推動相關領域更可靠的模型開發。論文全文可於arXiv獲取,並附有代碼和數據集鏈接,供研究者復現實驗。論文於2026年5月19日首次提交,5月21日更新版本,屬於預印本,共9頁正文,總25頁。主題涵蓋人工智能(cs.AI)和機器學習(cs.LG)。DOI為10.48550/arXiv.2605.20490。