近日，一项名为 ξ-DPO 的研究在 arXiv 上发布，提出了一种全新的直接偏好优化方法，旨在解决现有方法中超参数调优的难题。该研究由 Zhengyuan Fan 等四位作者完成，于 2026 年 5 月 9 日提交。
在强化学习从人类反馈（RLHF）领域，无参考偏好优化方法因其高效性而受到关注，其中 Simple Preference Optimization (SimPO) 通过简化目标函数消除了显式参考模型，取得了不错的效果。然而，SimPO 中的超参数 β 和 γ 需要联合调优，且其边际公式在不同奖励差距结构的数据集上缺乏可解释性，导致调优过程复杂且耗时。
研究团队对 SimPO 进行了深入分析，发现 β 实际上隐式地控制了样本过滤，而 γ 的效果则依赖于数据集的奖励差距结构。基于这些发现，他们提出了 ξ-DPO。该方法通过等效变换重新定义了偏好目标，将优化目标从最大化奖励差距的似然转变为最小化奖励差距与最优边际之间的距离。
ξ-DPO 的核心创新在于将奖励重新定义为选择与拒绝响应的比值形式，从而有效消除了 β 的影响，并得到一个有界且可解释的边际——比值奖励边际（ξ）。与 SimPO 中的 γ 不同，ξ 明确表示了选择与拒绝响应之间的期望相对分离程度，并且可以从初始奖励差距分布直接确定，避免了反复的试错调优。这一特性使得 ξ-DPO 在不同数据集上具有更好的鲁棒性和实用性。此外，该方法保持了 SimPO 的无需参考模型优势，同时显著降低了调参成本，为实际应用中的偏好优化提供了更可靠的方案。实验结果表明，ξ-DPO 在多个基准测试上取得了与 SimPO 相当或更优的性能，且对超参数选择更加不敏感。这项研究为无参考偏好优化方法的发展提供了新的方向，有望推动 RLHF 技术在更广泛场景中的部署。