在强化学习的连续控制任务中，基于离线策略（off-policy）训练的策略常产生高频动作抖动，导致无法直接部署于物理执行器。现有的后处理滤波虽能减弱抖动，但会引入相位滞后；而将平滑惩罚嵌入执行器损失函数则会上报与强化学习梯度耦合，过度平滑并影响奖励回归。针对这一问题，研究人员提出了ZAPS-DA（零相位动作策略平滑与解耦执行器）框架，旨在降低部署时的动作抖动，同时保持极小的相位滞后且无需后处理。
ZAPS-DA的核心创新在于，它保留了一个由基础强化学习损失训练的主执行器，并额外引入一个独立的解耦执行器。该解耦执行器通过监督学习，模仿存储于回放缓冲区中的零相位滤波目标。最终部署的策略即为这个解耦执行器：一个直接从当前观测映射到平滑动作的前馈网络，无需推理时的滤波器或动作历史输入。研究团队将这一过程称为“非因果滤波器的因果蒸馏”。此外，采用幅度匹配的均方误差损失，使得该方法在不同优化器类之间具有零超参数可移植性。
研究团队使用Soft Actor-Critic算法和Savitzky-Golay滤波器，在两个驾驶模拟器中进行了配对n=150评估。在MetaDrive环境中，ZAPS-DA将转向抖动降低了14-21倍，油门抖动降低了3-5倍（所有p<10⁻⁴，经Bonferroni校正），任务完成率（成功率p=0.28，碰撞率p=0.31）与基线持平，仅付出6.3%的奖励代价。在定制的Webots自适应巡航控制环境中，相同的Savitzky-Golay配置实现了帕累托改进：奖励与基线无显著差异（p=0.121），转向抖动降低8-45倍，总任务失败率从2.0%降至0.7%。
ZAPS-DA为强化学习策略的平滑部署提供了一种高效、无超参数且与优化器无关的解决方案，尤其适用于对抖动敏感的物理控制系统。它的成功证明了通过蒸馏非因果滤波器到前馈网络，可以在不牺牲性能的前提下大幅提升平滑性。未来的工作可能会将此框架扩展到更复杂的任务和更广泛的滤波器类型。