強化学習の連続制御タスクにおいて、オフポリシーで訓練されたポリシーはしばしば高周波の動作ジッタを示し、物理アクチュエータへの直接展開を困難にします。後処理フィルタリングはジッタを低減しますが、位相遅れを導入します。一方、アクターの損失関数に平滑化ペナルティを組み込むと、強化学習勾配と結合し、過剰な平滑化によって報酬回帰を損なう可能性があります。これらの問題に対処するため、研究者らはZAPS-DA（ゼロ位相アクションポリシースムージングと分離アクター）フレームワークを提案しました。このフレームワークは、展開時の動作ジッタを低減し、位相遅れを無視できる程度に抑え、後処理を不要とします。
ZAPS-DAの核心は、基本の強化学習損失で訓練されたメインアクターをそのまま保持しつつ、別の分離アクターを導入することにあります。この分離アクターは、リプレイバッファに保存されたゼロ位相フィルタリング済み目標を教師あり学習で模倣します。展開時に使用されるポリシーはこの分離アクターであり、現在の観測から平滑化されたアクションへのフィードフォワードマップを提供します。推論時のフィルターやアクション履歴入力を一切必要とせず、研究チームはこのメカニズムを「非因果フィルターの因果蒸留」と呼んでいます。また、マグニチュードマッチングMSE損失を採用することで、最適化器の種類を問わずハイパーパラメータ不要の移植性を実現しています。
研究チームは、Soft Actor-CriticアルゴリズムとSavitzky-Golayフィルターを用いて、2つの運転シミュレーターでペアn=150評価プロトコルによる検証を行いました。MetaDrive環境では、ZAPS-DAによりステアリングジッタが14～21倍、スロットルジッタが3～5倍低減され（すべてp<10⁻⁴、Bonferroni補正後）、タスク完了率（成功率p=0.28、衝突率p=0.31）はベースラインと同等で、報酬コストは6.3%にとどまりました。カスタムのWebotsアダプティブクルーズコントロール環境では、同じSavitzky-Golay構成でパレート改善が観察されました。報酬はベースラインと有意差がなく（p=0.121）、ステアリングジッタは8～45倍低減され、総タスク失敗率は2.0%から0.7%に低下しました。
ZAPS-DAは、ジッタに敏感な物理制御システムに対して、効率的でハイパーパラメータ不要、かつ最適化器に依存しない強化学習ポリシーの平滑化展開ソリューションを提供します。このアプローチは、非因果フィルターをフィードフォワードネットワークに蒸留することで、性能を犠牲にすることなく平滑性を大幅に向上できることを示しています。今後の研究では、より複雑なタスクやより広範なフィルタータイプへの拡張が期待されます。