TMPO（Trajectory Matching Policy Optimization）是一種全新的擴散模型對齊方法，旨在解決強化學習（RL）對齊中常見的獎勵黑客（reward hacking）問題。獎勵黑客導致模型生成多樣性下降，出現視覺模式坍縮，並放大不可靠的獎勵信號。研究團隊指出，根本原因在於現有方法本質上是“模式尋找”的——它們最大化期望獎勵，卻沒有有效約束可接受軌跡上的概率分佈，導致模型集中於少數高獎勵路徑。
與這些方法不同，TMPO將標量獎勵最大化替換為軌跡級獎勵分佈匹配。具體地，TMPO引入Softmax軌跡平衡（Softmax-TB）目標，將K條軌跡的策略概率匹配到獎勵誘導的玻爾茲曼分佈。理論證明，該目標繼承了前向KL散度的模式覆蓋特性，能夠在優化獎勵的同時保持對所有可接受軌跡的覆蓋。此外，為了降低大規模流匹配模型的多軌跡訓練時間，TMPO集成了動態隨機樹採樣，使軌跡共享去噪前綴並在動態調度的步驟處分叉，從而減少冗餘計算並提高訓練效率。
在多種對齊任務（如人類偏好、組合生成和文本渲染）上的大量實驗表明，TMPO的生成多樣性比現有最優方法提升9.1%，在所有下游指標和效率指標上均達到競爭性表現，實現了獎勵與多樣性的最優平衡。該研究由Jiaming Li等12位作者共同完成，論文於2026年5月9日提交至arXiv。實驗涵蓋多個領域，在多個基準上驗證了有效性。TMPO不僅提升了多樣性，還保持了高效的訓練過程，為擴散模型對齊提供了一種兼顧多樣性和效率的新範式。