近日，一項名為 ξ-DPO 的研究在 arXiv 上釋出，提出了一種全新的直接偏好最佳化方法，旨在解決現有方法中超引數調優的難題。該研究由 Zhengyuan Fan 等四位作者完成，於 2026 年 5 月 9 日提交。
在強化學習從人類反饋（RLHF）領域，無參考偏好最佳化方法因其高效性而受到關注，其中 Simple Preference Optimization (SimPO) 透過簡化目標函式消除了顯式參考模型，取得了不錯的效果。然而，SimPO 中的超引數 β 和 γ 需要聯合調優，且其邊際公式在不同獎勵差距結構的資料集上缺乏可解釋性，導致調優過程複雜且耗時。
研究團隊對 SimPO 進行了深入分析，發現 β 實際上隱式地控制了樣本過濾，而 γ 的效果則依賴於資料集的獎勵差距結構。基於這些發現，他們提出了 ξ-DPO。該方法透過等效變換重新定義了偏好目標，將最佳化目標從最大化獎勵差距的似然轉變為最小化獎勵差距與最優邊際之間的距離。
ξ-DPO 的核心創新在於將獎勵重新定義為選擇與拒絕響應的比值形式，從而有效消除了 β 的影響，並得到一個有界且可解釋的邊際——比值獎勵邊際（ξ）。與 SimPO 中的 γ 不同，ξ 明確表示了選擇與拒絕響應之間的期望相對分離程度，並且可以從初始獎勵差距分佈直接確定，避免了反覆的試錯調優。這一特性使得 ξ-DPO 在不同資料集上具有更好的魯棒性和實用性。此外，該方法保持了 SimPO 的無需參考模型優勢，同時顯著降低了調參成本，為實際應用中的偏好最佳化提供了更可靠的方案。實驗結果表明，ξ-DPO 在多個基準測試上取得了與 SimPO 相當或更優的效能，且對超引數選擇更加不敏感。這項研究為無參考偏好最佳化方法的發展提供了新的方向，有望推動 RLHF 技術在更廣泛場景中的部署。