TMPO（Trajectory Matching Policy Optimization）是一种全新的扩散模型对齐方法，旨在解决强化学习（RL）对齐中常见的奖励黑客（reward hacking）问题。奖励黑客导致模型生成多样性下降，出现视觉模式坍缩，并放大不可靠的奖励信号。研究团队指出，根本原因在于现有方法本质上是“模式寻找”的——它们最大化期望奖励，却没有有效约束可接受轨迹上的概率分布，导致模型集中于少数高奖励路径。
与这些方法不同，TMPO将标量奖励最大化替换为轨迹级奖励分布匹配。具体地，TMPO引入Softmax轨迹平衡（Softmax-TB）目标，将K条轨迹的策略概率匹配到奖励诱导的玻尔兹曼分布。理论证明，该目标继承了前向KL散度的模式覆盖特性，能够在优化奖励的同时保持对所有可接受轨迹的覆盖。此外，为了降低大规模流匹配模型的多轨迹训练时间，TMPO集成了动态随机树采样，使轨迹共享去噪前缀并在动态调度的步骤处分叉，从而减少冗余计算并提高训练效率。
在多种对齐任务（如人类偏好、组合生成和文本渲染）上的大量实验表明，TMPO的生成多样性比现有最优方法提升9.1%，在所有下游指标和效率指标上均达到竞争性表现，实现了奖励与多样性的最优平衡。该研究由Jiaming Li等12位作者共同完成，论文于2026年5月9日提交至arXiv。实验涵盖多个领域，在多个基准上验证了有效性。TMPO不仅提升了多样性，还保持了高效的训练过程，为扩散模型对齐提供了一种兼顾多样性和效率的新范式。