这篇由Zhichao Yang等六位作者完成的论文于2026年6月29日提交至arXiv，归类于计算与语言（cs.CL）方向。论文标题为《当校准排名发生反转：用于大语言模型公平比较的准确率控制评估》，其核心问题在于：如何在不同大语言模型之间公平地比较“校准”表现。所谓校准，衡量的是模型给出的置信度与其实际经验准确率之间是否一致。一个校准良好的模型，在它表示“有八成把握”时，实际答对的比例也应接近八成。
作者指出，现有研究在比较不同大语言模型的校准时，普遍采用期望校准误差（Expected Calibration Error）与布里尔分数（Brier Score）等全局校准指标。这类指标虽然直观，但作者从理论与实证两个层面证明，此类比较会受到模型准确率差异的干扰。换句话说，当两个模型的整体正确率本就不同时，直接用全局指标比较校准水平并不公平，所得结论可能更多反映的是准确率差异，而非校准能力本身。
为支持更公平的跨模型比较，作者提出了一套名为ACE的准确率控制评估框架。ACE并非单一指标，而是从三个互补视角来刻画校准：实例对齐（Instance-Aligned）、分布对齐（Distribution-Aligned）与候选对齐（Candidate-Aligned）校准。这三个视角分别从单个样本、整体分布以及候选答案的层面审视置信度与实际准确率的关系，从而在控制准确率影响的前提下评估校准表现。
作者在多个基准测试、多个模型家族以及多种置信度获取方法上应用ACE，重点考察了两条具有现实意义的比较轴：小模型与大模型之间的对比，以及“思考型”模型与“非思考型”模型之间的对比。这两条轴正对应着当前大模型实践中常见的取舍——是选择更小更高效的模型，还是更大更强的模型；以及是否采用带有显式推理过程的模型。
研究得到两个关键发现。第一，许多此前在原始全局指标下报告的校准优势，在引入准确率控制后大幅减弱。这意味着部分被归因于“校准更好”的差异，实际上可能来自准确率本身的差异。第二，排名反转现象十分频繁：那些在原始指标下占优的模型，一旦控制准确率，往往不再占优。也就是说，模型的校准排名并不稳定，会随评估方式而变化。
基于上述结果，作者得出结论：原始的全局校准指标在跨模型比较中并不稳健，公平的校准比较必须采用准确率感知（accuracy-aware）的评估方式。这一结论对模型评测实践具有直接意义——研究者和开发者在宣称某模型“校准更优”时，需要谨慎对待未经准确率控制的全局指标结论，并考虑采用ACE这类控制准确率影响的框架。该论文的全文可通过arXiv获取，DOI信息由DataCite提供，提交历史显示首版于2026年6月29日18:37:48 UTC提交，文件大小约9,358 KB。