扩散模型在图像、语言生成以及连续控制等任务中已经成为一类重要的策略表示形式。如何通过强化学习对这类扩散策略进行后训练，从而进一步提升其表现，是近期研究关注的焦点。然而，arXiv 上编号为 2606.13795 的最新论文《Diffusion Policy Optimization without Drifting Apart》指出，现有的扩散策略梯度方法往往训练不稳定，难以实现可靠的策略改进。该论文由 Haozhe Jiang 等六位作者完成，于 2026 年 6 月 11 日提交至 arXiv，归类为机器学习（cs.LG）。
作者将这种不稳定性的根源归纳为“双重漂移”（double-drift）现象。具体而言，扩散策略的优化通常依赖变分下界（ELBO）作为替代目标，但在训练过程中，ELBO 可能与真实的的对数似然逐渐分离。一旦两者出现偏离，由替代目标推导出的代理策略梯度就不再与期望回报的真实策略梯度保持一致，从而导致策略改进方向出现偏差，训练过程随之变得不稳定。
针对这一问题，论文提出了名为 DiPOD 的扩散策略优化框架。其核心思路是在整个训练过程中保持紧界（tight-bound）行为，具体做法是将自蒸馏（self-distillation）与提升策略的梯度更新交替进行。这一设计最终落地为一个简单而实用的算法：在每一次扩散策略梯度更新时，附加一个同策略（on-policy）的 ELBO 正则项，从而持续约束替代目标与真实似然之间的偏离。
为了验证方法的有效性，作者在两类场景中进行了实验：一是扩散语言模型的后训练，二是连续控制任务中的扩散策略。实验结果显示，DiPOD 能够显著稳定训练过程，并取得比以往方法更高的奖励。论文还提供了项目主页链接，方便读者进一步了解细节。
总体来看，该工作的贡献在于清晰地诊断了扩散策略强化学习后训练中的漂移问题，并给出了一种易于实现的正则化方案。这一思路有望为扩散模型在强化学习场景下的稳定优化提供新的实践参考。