直接偏好優化（DPO）是一種無需強化學習的語言模型對齊方法，它將人類偏好視為簡單的勝者vs敗者信號，容易受到來自脆弱推理鏈的噪聲或分歧偏好的影響。為解決這一問題，來自多所機構的研究人員提出了TUR-DPO，這是一種拓撲與不確定性感知的DPO變體。TUR-DPO不僅關注模型回答的內容，更重視答案的推導過程。它首先通過模型自身生成輕量級推理拓撲，然後結合語義忠實度、實用性和拓撲質量，計算出一個校準後的不確定性信號。該信號被分解到一個小型可學習的獎勵函數中，並納入不確定性加權的DPO目標，從而在不依賴強化學習的情況下，僅使用固定或移動的參考策略進行訓練。
在實證評估中，研究團隊使用了7-8B參數規模的開放模型，在數學推理、事實問答、摘要生成以及有用/無害對話等多個基準上進行了廣泛測試。結果表明，與標準DPO相比，TUR-DPO在評判勝率、輸出忠實度和校準性方面均有顯著提升，同時保持了訓練簡潔性，無需在線採樣。此外，該方法在多模態和長上下文場景中也表現出持續的優勢。特別值得注意的是，TUR-DPO在推理密集型任務上的表現與PPO相當甚至更優，且保留了操作上的簡便性。該研究已被ICML 2026會議接收。TUR-DPO的提出為語言模型對齊提供了一種新的思路，兼顧了性能與效率，有望在實際應用中降低對複雜強化學習框架的依賴。其作者包括Abdulhady Abas Abdullah、Fatemeh Daneshfar、Seyedali Mirjalili和Mourad Oussalah，論文於2026年4月30日提交至arXiv。
TUR-DPO的核心機制包括兩個關鍵組成部分：推理拓撲的生成和不確定性信號的校準。推理拓撲通過輕量級的方法從模型輸出中提取，不需要額外的訓練數據。不確定性信號則綜合了多個維度，包括推理步驟之間的語義一致性、推理結果對最終答案的支持程度以及推理鏈的整體質量。這些信號共同用於指導偏好優化過程，使得模型更傾向於那些具有清晰、可靠推理路徑的答案，同時抑制那些基於不確定或矛盾推理的輸出。這種設計使得TUR-DPO在保持DPO訓練簡便性的同時，大幅提升了對齊的質量和魯棒性。