语言模型校准深度解析：Platt缩放、等渗回归与温度缩放

要点

• 温度缩放适用于基线模型，但对于RLHF微调后的模型，自适应温度缩放（ATS）效果更好。
• Platt缩放数据高效，适合小校准集，但可能降低强模型性能。
• 等渗回归经验表现最强，但需要足够大的校准集以避免过拟合。
• 选择校准方法前需明确“置信度”在任务中的定义。