近年、分布型強化学習は、報酬分布全体を学習することで不確実性を捉える手法として注目されている。本論文では、Soft Actor-Critic（SAC）を分布型設定に拡張し、Cramér距離に基づく分布型ソフトアクタークリティック（C-DSAC）を提案する。従来の強化学習は期待値のみを推定するが、分布型手法は価値分布を直接学習する。C-DSACは、二乗Cramér距離を最小化することで状態行動価値分布を学習し、分布間の差異を効果的に扱う。Cramér距離は確率分布間の距離尺度であり、対称性や正定性を持ち、計算が容易であるため、強化学習における分布更新に適している。
実験は、複雑な連続制御タスクを含む複数のロボット制御ベンチマークで実施された。特にMuJoCo環境におけるHopper、Walker、Humanoidなどのタスクで評価を行い、C-DSACはサンプル効率と最終性能の両面でSACやQR-DQN、IQNなどの既存手法を上回った。環境の複雑さが増すほどその優位性は顕著になり、高次元の行動空間でも安定した学習を示した。トレーニング過程では、C-DSACは報酬の分散が小さく、より安定した収束が観察された。
性能向上の要因として、信頼度に応じたQ値更新（confidence-driven update）が挙げられる。目標分布の分散が高い（信頼度が低い）場合、更新が保守的になり、過大評価の影響を抑制する。これにより学習の安定性と収束速度が向上する。理論的分析により、C-DSACの収束特性と価値推定の精度に関する洞察が得られた。本研究は分布型強化学習の理論的理解を深め、特に収束性と価値推定のアルゴリズムメカニズムに関する新たな知見を提供する。
今後の展望として、著者らはCramér距離を他の強化学習アルゴリズムに応用することや、信頼度情報を活用した探索手法の開発を挙げている。コードとデータは公開されており、再現可能な研究としてコミュニティに貢献する。この成果は、ロボット制御や自動運転など、堅牢な方策を必要とする分野への応用が期待される。