面向開放問答校準評估的語義取樣框架

在大語言模型（LLM）廣泛應用於醫療、法律等高風險領域的背景下，模型的校準能力——即預測置信度與實際準確率的一致性——變得至關重要。然而，現有校準評估方法在開放問答（Open-ended QA）這一最常見部署場景中存在明顯不足：基於logit的方法需要受限輸出格式和內部機率，口頭置信度常過於自信，而取樣方法依賴任務特定的提取規則且缺乏清晰的有限樣本目標。為解決這一問題，來自多所機構的研究人員提出了Sem-ECE（語義取樣期望校準誤差）框架。該框架從模型中取樣多個答案，將其聚類為語義類別，然後以各類別的出現頻率作為置信度估計。具體而言，Sem-ECE包含兩個估計量：Sem1-ECE利用同一樣本進行自一致性打分，而Sem2-ECE則採用留出法，將答案選擇與置信度評估分離。理論分析證明，兩個估計量都是漸近無偏的，並且對於簡單問題兩者結果一致，但對於困難問題Sem2-ECE的校準誤差更小，因此兩者之間的差距可作為問題難度的診斷指標。研究團隊在五個領先的商業LLM上進行了實驗，涵蓋三個開放問答基準測試。實驗結果表明，Sem-ECE在評估校準方面優於口頭置信度和現有的取樣方法，同時能在無法獲取內部機率時有效補充基於logit的評估方式。這一工作為LLM在開放場景下的可靠部署提供了重要的評估工具。此外，該框架的語義聚類過程不依賴於任務特定的格式，具有較好的通用性，未來可擴充套件至更多型別的生成任務。