校準是衡量模型置信度與其實際準確性之間一致性的重要概念。現有研究通常使用全域性校準指標（如預期校準誤差和布里爾分數）來比較不同大語言模型（LLM）的校準效能。然而，鄭州大學和微軟研究院的研究人員發現，這種比較因模型準確性的差異而產生混淆，導致不公平的結論。他們從理論和實驗兩方面證明了這一點，指出全域性指標無法區分校準誤差和精度差異的影響。
為了更公平地跨模型比較，研究團隊提出了ACE（精度控制評估）框架，該框架包含三個互補的視角：例項對齊校準、分佈對齊校準和候選對齊校準。例項對齊校準保持每例項的預測不變，調整置信度分佈；分佈對齊校準強制不同模型的置信度分佈匹配；候選對齊校準則透過選擇子集來平衡準確率。這些方法從不同角度消除了精度差異對校準評估的干擾。
研究人員在多個基準測試（包括MMLU、HellaSwag等）、模型系列（如LLaMA、Mistral等）和置信度獲取方法（如直接logit、溫度縮放等）上應用ACE，重點比較了小型與大型模型、思考型（如Chain-of-Thought）與非思考型模型。結果揭示了兩個關鍵發現：首先，許多先前在原始全域性指標下報告的校準優勢在精度控制後大幅減弱；其次，排名反轉現象頻繁發生——原本受原始指標青睞的模型在控制精度後往往不再佔優，甚至落後於其他模型。
這些結果表明，原始的全域性校準指標在跨模型比較中並不穩健，公平的校準比較必須考慮準確性差異。ACE框架為實現這一目標提供了有效工具，有助於更可靠地評估和比較LLM的校準效能。該研究於2026年6月29日提交至arXiv，程式碼和資料將在後續釋出。這一工作對模型選型、推理成本最佳化以及評估基準的設計都具有重要指導意義。