分布强化学习近年来受到广泛关注，它通过学习回报分布而非仅仅期望值，为处理环境随机性和复杂决策提供了更丰富的信息。然而，如何有效地衡量分布之间的差异并用于学习，仍然是一个挑战。近日，一篇题为《基于Cramér距离的分布强化学习》的论文在arXiv上发布，由Vanya Aziz等人完成。该研究将Soft Actor-Critic（SAC）算法扩展至分布强化学习框架，提出了Cramér距离分布柔性Actor-Critic（C-DSAC）算法。C-DSAC的核心创新在于使用平方Cramér距离作为损失函数来学习状态-动作价值分布。Cramér距离是一种概率分布之间的度量，具有对称性和正定性，计算简单，适合用于强化学习中的分布更新。传统强化学习通常仅估计期望回报，而C-DSAC通过学习整个回报分布，能够更全面地捕捉不确定性。
实验部分，研究者在多种机器人控制基准上进行了测试，包括MuJoCo环境中的复杂连续控制任务（如Hopper、Walker、Humanoid等）。结果显示，C-DSAC在样本效率和最终性能上均显著优于基线SAC算法以及其他最新的分布强化学习方法，如QR-DQN和IQN。特别是在高复杂度环境中，C-DSAC的优势更为突出，在训练过程中表现出更低的方差，意味着它能够更稳定地收敛到高质量策略。为了解释这一优越性能，作者进行了深入分析，发现C-DSAC的置信度驱动的Q值更新机制起到了关键作用。具体来说，当目标分布具有高方差（即低置信度）时，模型更新会更保守，从而有效抑制了价值过估计的问题。这一机制不仅增强了学习的稳定性，还加速了收敛过程。
此外，该研究为分布强化学习的理论理解提供了新的视角，特别是在收敛性和价值估计方面。消融研究证实，置信度驱动的更新机制是提升性能的关键因素：当价值分布的不确定性较高时，算法自动降低更新步长，避免了盲目优化导致的过估计。作者指出，未来工作将探索Cramér距离在其他强化学习算法中的应用，并研究如何进一步利用置信度信息指导探索策略。目前，相关代码和数据已公开发布，以促进社区的进一步研究与发展。这项成果对于机器人控制、自动驾驶等需要稳健策略的领域具有潜在应用价值。