直接偏好优化（DPO）是一种无需强化学习的语言模型对齐方法，它将人类偏好视为简单的胜者vs败者信号，容易受到来自脆弱推理链的噪声或分歧偏好的影响。为解决这一问题，来自多所机构的研究人员提出了TUR-DPO，这是一种拓扑与不确定性感知的DPO变体。TUR-DPO不仅关注模型回答的内容，更重视答案的推导过程。它首先通过模型自身生成轻量级推理拓扑，然后结合语义忠实度、实用性和拓扑质量，计算出一个校准后的不确定性信号。该信号被分解到一个小型可学习的奖励函数中，并纳入不确定性加权的DPO目标，从而在不依赖强化学习的情况下，仅使用固定或移动的参考策略进行训练。
在实证评估中，研究团队使用了7-8B参数规模的开放模型，在数学推理、事实问答、摘要生成以及有用/无害对话等多个基准上进行了广泛测试。结果表明，与标准DPO相比，TUR-DPO在评判胜率、输出忠实度和校准性方面均有显著提升，同时保持了训练简洁性，无需在线采样。此外，该方法在多模态和长上下文场景中也表现出持续的优势。特别值得注意的是，TUR-DPO在推理密集型任务上的表现与PPO相当甚至更优，且保留了操作上的简便性。该研究已被ICML 2026会议接收。TUR-DPO的提出为语言模型对齐提供了一种新的思路，兼顾了性能与效率，有望在实际应用中降低对复杂强化学习框架的依赖。其作者包括Abdulhady Abas Abdullah、Fatemeh Daneshfar、Seyedali Mirjalili和Mourad Oussalah，论文于2026年4月30日提交至arXiv。
TUR-DPO的核心机制包括两个关键组成部分：推理拓扑的生成和不确定性信号的校准。推理拓扑通过轻量级的方法从模型输出中提取，不需要额外的训练数据。不确定性信号则综合了多个维度，包括推理步骤之间的语义一致性、推理结果对最终答案的支持程度以及推理链的整体质量。这些信号共同用于指导偏好优化过程，使得模型更倾向于那些具有清晰、可靠推理路径的答案，同时抑制那些基于不确定或矛盾推理的输出。这种设计使得TUR-DPO在保持DPO训练简便性的同时，大幅提升了对齐的质量和鲁棒性。