FALCON-Discover：發現校準中集中誤信區域
校準通常以整體方式評估，但最危險的失敗往往是區域性的：預測雖然錯誤卻仍保持高度自信。本文提出FALCON-Discover框架，利用置信度、區域性支援、鄰域一致性和擾動穩定性等差異訊號對預測進行排序，以發現集中誤信區域。在多個資料集上，該方法在強機制下顯著優於傳統校準基線，且最佳檢測器依資料集特性而異。研究表明，危險過度自信應視為家族級發現問題，而非單一評分校準問題。
機器學習模型的校準通常使用全域性指標評估，例如期望校準誤差（ECE）或可靠性圖。然而，這種整體評估方式可能掩蓋最危險的失敗模式：模型在錯誤預測時仍保持高置信度，這種“誤信集中”現象在關鍵應用（如醫療診斷、自動駕駛）中可能導致嚴重後果。傳統校準方法往往關注平均效能，而忽略區域性區域的風險。
針對這一問題，Filippo Cenacchi等人提出了FALCON-Discover框架，旨在發現預測空間中自信錯誤集中的緊湊區域。FALCON-Discover是一種事後、模型無關的方法，透過整合四種差異訊號對預測進行排序：置信度本身的值、區域性支援（即鄰域中正確預測的密度）、鄰域一致性（預測標籤與鄰域多數標籤的匹配程度）以及擾動穩定性（輸入微小變化下預測的波動性）。這些訊號共同刻畫了預測的可疑程度，從而識別出可能包含大量高置信度錯誤的位置。
研究團隊在七個二分類表格資料集上進行了系統實驗，包括信用評分、醫療診斷等領域的資料。他們使用了XGBoost和CatBoost等強學習器，並透過四次隨機種子和五折交叉擬合確保結果的統計可靠性。實驗的核心問題包括：誤信集中現象是否普遍存在？基於差異的排序能否比傳統校準方法更有效地捕獲危險錯誤？最佳檢測方法是否依賴於資料集特性？
結果表明，誤信集中現象確實反覆出現，但其表現依賴於資料集的特定機制。在最強機制下（即誤信集中程度最高的設定中），基於差異的排序方法在捕獲危險錯誤方面顯著優於基於驗證選擇校準或信任評分的最佳基線。相比之下，直接使用模型輸出的原始置信度幾乎無法識別這些危險錯誤。進一步分析顯示，最佳檢測方法因資料集而異：當需要結合多個線索時（如複雜決策邊界），學習到的差異訊號表現最強；而當區域性決策脆弱性佔主導時（如噪聲敏感區域），以穩定性為中心的排序效果最佳。
這些發現具有重要的實踐意義。首先，它們表明危險的過度自信不應僅被視為一個單一的校準評分問題，而應作為一個家族級的發現問題來處理。這意味著模型在部署前不僅需要整體校準，還需要針對特定區域進行深入分析。其次，FALCON-Discover提供了一種有效的工具，能夠在不訪問訓練資料的情況下事後檢測危險區域，適用於黑盒模型場景。最後，研究者的發現激勵了未來校準策略的改進：應明確針對置信度、支援和穩定性不一致的區域，從而提升模型在關鍵應用中的可靠性。
總體而言，該研究為機器學習模型的安全部署提供了新的視角。FALCON-Discover框架有望成為模型驗證和監控的重要工具，幫助開發者識別並修正高風險區域的過度自信，減少潛在災難性後果。