校準（Calibration）是預測概率與真實結果頻率之間的對齊程度，對於構建可靠的決策系統至關重要。儘管在分類和迴歸任務中，校準已經得到了廣泛的研究，但在概率標籤排序（Probabilistic Label Ranking）領域，校準尚未被正式定義。標籤排序的目標是預測一個標籤集合上的排序分佈，而不僅僅是預測單個標籤。傳統的處理方法將排序視為類別，這忽略了排序的內在結構，無法捕捉成對比較（pairwise）和top-k預測等重要模態。
為了填補這一空白，本研究首次為概率標籤排序形式化了校準概念，並開發了一個層次結構，涵蓋了全排序（full rankings）、子排序（sub-rankings）和top-k排序三種校準概念。研究人員證明，全排序校準藴含子排序校準和top-k校準，但反之並不成立，並且子排序校準和top-k校準之間是不可比較的。這意味着，一個模型如果實現了全排序校準，那麼它自然也會在子排序和top-k意義上校準，但反過來不一定，而且子排序校準和top-k校準各自捕捉了不同的質量維度。
在實驗部分，研究人員評估了多個流行的標籤排序模型，發現這些模型普遍校準不佳，尤其是在子排序和top-k指標上存在顯著差異。例如，某些模型可能在top-1預測上表現良好，但在更細粒度的子排序或top-k排名上，其概率估計與實際頻率嚴重偏離。這表明，僅僅關注top-1準確性可能會掩蓋模型在排序任務中的真實可靠性。
進一步地，研究團隊將這一校準框架應用於強化學習從人類反饋（RLHF）中的獎勵模型。RLHF是訓練大型語言模型的關鍵技術，其獎勵模型通常需要輸出偏好排序。實驗結果顯示，校準與基準準確性之間存在強相關，但並非完美相關。這説明校準捕捉了超越top-1準確性的有意義的質量維度，例如模型在排名不確定性上的表達能力。這一發現對於改進RLHF訓練流程具有重要啓示，因為校準良好的獎勵模型可能產生更可靠的對齊結果。
總而言之，該研究為標籤排序中的校準問題奠定了理論基礎，並提供了實證證據，表明當前模型在此方面存在不足。未來的工作可以探索錯誤校準的下游影響，例如在排序聚合或決策制定中的後果，並開發針對性的校準方法，如温度縮放或保序迴歸。這些努力有望提升機器學習系統在排序和偏好學習任務中的可信度和實用性。