跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

$ECUAS_n$:一種用於原則性評估不確定性增強系統的度量族

文章摘要

在高風險自動化決策中,預測不確定性對用户接受或拒絕預測至關重要。當前不確定性增強(UA)系統的評估方法存在不足,本文提出ECUAS_n度量族,將其表述為適當評分規則,參數n控制錯誤預測成本與不完美不確定性之間的權衡。實驗證明其優勢。

來源arXiv AI作者: Lautaro Estienne, Erik Ernst, Mat\'ias Vera, Pablo Piantanida, Luciana Ferrer
$ECUAS_n$:一種用於原則性評估不確定性增強系統的度量族
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

近日,一篇發表於arXiv的論文提出了一種名為ECUAS_n的全新度量族,旨在為不確定性增強(UA)系統的評估提供更原則性的方法。UA系統同時輸出預測結果和不確定性分數,在高風險自動決策場景中,如醫療診斷或自動駕駛,用户可根據應用特定的成本權衡選擇接受或拒絕預測。然而,現有評估方法往往分別評價預測準確性和不確定性質量,或使用固定拒絕成本等簡化假設,無法全面衡量系統在決策中的整體表現。

該論文由Lautaro Estienne等五位作者共同完成,他們指出當前常見的評估方式——如單獨使用指標、固定閾值或覆蓋率-風險曲線積分——均不能有效反映UA系統在真實決策中的效用。為此,他們提出了ECUAS_n度量族,基於Proper Scoring Rules(適當評分規則)構建,將預測和不確定性的聯合質量納入單一度量。其中參數n可調節錯誤預測成本與不完美不確定性之間的相對重要性,使度量能適應不同應用場景的特定需求。

研究團隊通過理論分析證明了ECUAS_n具備一致性和敏感性,並在多個分類和生成數據集上進行了實驗驗證,包括人工標註的TriviaQA子集。結果顯示,ECUAS_n能夠更準確地反映UA系統的決策效用,而傳統方法可能存在偏差。論文還提供了與其他度量(如Brier分數、覆蓋率-風險曲線下面積)的比較,凸顯了新方法的優勢。

該工作為不確定性輔助決策系統的評估提供了統一框架,有望推動相關領域更可靠的模型開發。論文全文可於arXiv獲取,並附有代碼和數據集鏈接,供研究者復現實驗。論文於2026年5月19日首次提交,5月21日更新版本,屬於預印本,共9頁正文,總25頁。主題涵蓋人工智能(cs.AI)和機器學習(cs.LG)。DOI為10.48550/arXiv.2605.20490。

展開要點與分析

文章情報

投資人進階

要點

  • 提出ECUAS_n度量族,用於全面評估UA系統
  • 參數n允許根據用例調整預測成本與不確定性權衡
  • 理論上和實驗上證明了ECUAS_n優於現有評估方法

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。