分佈強化學習近年來受到廣泛關注，它透過學習回報分佈而非僅僅期望值，為處理環境隨機性和複雜決策提供了更豐富的資訊。然而，如何有效地衡量分佈之間的差異並用於學習，仍然是一個挑戰。近日，一篇題為《基於Cramér距離的分佈強化學習》的論文在arXiv上釋出，由Vanya Aziz等人完成。該研究將Soft Actor-Critic（SAC）演算法擴充套件至分佈強化學習框架，提出了Cramér距離分佈柔性Actor-Critic（C-DSAC）演算法。C-DSAC的核心創新在於使用平方Cramér距離作為損失函式來學習狀態-動作價值分佈。Cramér距離是一種機率分佈之間的度量，具有對稱性和正定性，計算簡單，適合用於強化學習中的分佈更新。傳統強化學習通常僅估計期望回報，而C-DSAC透過學習整個回報分佈，能夠更全面地捕捉不確定性。
實驗部分，研究者在多種機器人控制基準上進行了測試，包括MuJoCo環境中的複雜連續控制任務（如Hopper、Walker、Humanoid等）。結果顯示，C-DSAC在樣本效率和最終效能上均顯著優於基線SAC演算法以及其他最新的分佈強化學習方法，如QR-DQN和IQN。特別是在高複雜度環境中，C-DSAC的優勢更為突出，在訓練過程中表現出更低的方差，意味著它能夠更穩定地收斂到高質量策略。為了解釋這一優越效能，作者進行了深入分析，發現C-DSAC的置信度驅動的Q值更新機制起到了關鍵作用。具體來說，當目標分佈具有高方差（即低置信度）時，模型更新會更保守，從而有效抑制了價值過估計的問題。這一機制不僅增強了學習的穩定性，還加速了收斂過程。
此外，該研究為分佈強化學習的理論理解提供了新的視角，特別是在收斂性和價值估計方面。消融研究證實，置信度驅動的更新機制是提升效能的關鍵因素：當價值分佈的不確定性較高時，演算法自動降低更新步長，避免了盲目最佳化導致的過估計。作者指出，未來工作將探索Cramér距離在其他強化學習演算法中的應用，並研究如何進一步利用置信度資訊指導探索策略。目前，相關程式碼和資料已公開發布，以促進社群的進一步研究與發展。這項成果對於機器人控制、自動駕駛等需要穩健策略的領域具有潛在應用價值。