在強化學習的連續控制任務中，基於離線策略（off-policy）訓練的策略常產生高頻動作抖動，導致無法直接部署於物理執行器。現有的後處理濾波雖能減弱抖動，但會引入相位滯後；而將平滑懲罰嵌入執行器損失函數則會上報與強化學習梯度耦合，過度平滑並影響獎勵迴歸。針對這一問題，研究人員提出了ZAPS-DA（零相位動作策略平滑與解耦執行器）框架，旨在降低部署時的動作抖動，同時保持極小的相位滯後且無需後處理。
ZAPS-DA的核心創新在於，它保留了一個由基礎強化學習損失訓練的主執行器，並額外引入一個獨立的解耦執行器。該解耦執行器通過監督學習，模仿存儲於回放緩衝區中的零相位濾波目標。最終部署的策略即為這個解耦執行器：一個直接從當前觀測映射到平滑動作的前饋網絡，無需推理時的濾波器或動作歷史輸入。研究團隊將這一過程稱為“非因果濾波器的因果蒸餾”。此外，採用幅度匹配的均方誤差損失，使得該方法在不同優化器類之間具有零超參數可移植性。
研究團隊使用Soft Actor-Critic算法和Savitzky-Golay濾波器，在兩個駕駛模擬器中進行了配對n=150評估。在MetaDrive環境中，ZAPS-DA將轉向抖動降低了14-21倍，油門抖動降低了3-5倍（所有p<10⁻⁴，經Bonferroni校正），任務完成率（成功率p=0.28，碰撞率p=0.31）與基線持平，僅付出6.3%的獎勵代價。在定製的Webots自適應巡航控制環境中，相同的Savitzky-Golay配置實現了帕累託改進：獎勵與基線無顯著差異（p=0.121），轉向抖動降低8-45倍，總任務失敗率從2.0%降至0.7%。
ZAPS-DA為強化學習策略的平滑部署提供了一種高效、無超參數且與優化器無關的解決方案，尤其適用於對抖動敏感的物理控制系統。它的成功證明了通過蒸餾非因果濾波器到前饋網絡，可以在不犧牲性能的前提下大幅提升平滑性。未來的工作可能會將此框架擴展到更復雜的任務和更廣泛的濾波器類型。