安全强化学习（RL）在机器人系统中的应用要求策略在训练和部署期间既能提升任务性能，又能满足状态和输入约束。控制屏障函数（CBF）通过微创安全滤波器提供了一种基于原理的前向不变性强制机制，但其在无模型RL中的应用受到需要精确动力学和手工设计屏障证书的限制。为此，作者提出了Robust Koopman-CBF SAC，一种安全滤波的actor-critic框架，该框架从数据中学习有限维Koopman预测器，在提升空间中构造仿射CBF约束，并通过二次规划安全层强制执行这些约束。为了考虑有限维Koopman近似误差，CBF条件通过从保留的rollout数据中估计的投影残差裕度进行收紧。Critic在执行的 safe action 上训练，而actor则向Koopman-CBF可行集正则化，从而减少训练过程中对滤波器的依赖。
在安全控制基准测试中，该方法在CartPole稳定和跟踪任务上实现了零约束违反，同时匹配或超过了无约束SAC的回报。在Safety Gymnasium的高维运动任务上，该方法在某些设置下减少了违反次数，但也暴露了一阶速度屏障和线性EDMD模型的重要局限性，这促使了高阶和多步Koopman-CBF扩展的研究。这些结果表明，鲁棒的Koopman-CBF滤波器是连接无模型RL和可认证安全性的有前景的桥梁，同时阐明了此类滤波器保持有效的结构条件。所有代码已在GitHub仓库公开。
该论文提交于2026年5月26日，共17页，7张图，属于机器人学（cs.RO）、机器学习（cs.LG）和系统与控制（eess.SY）领域。作者为Dhruv S. Kushwaha和另一位合著者。论文的DOI为10.48550/arXiv.2605.26452，并提供了PDF和HTML实验版本。代码库链接为https://github.com/DhruvKushwaha/Koopman-CBF-Soft-Actor-Critic。
该工作的核心贡献在于将Koopman算子理论与控制屏障函数相结合，为无模型强化学习提供了一种数据驱动的安全滤波器设计方法。传统CBF方法需要精确的系统动力学模型和人工设计的屏障函数，而该方法通过学习有限维Koopman预测器来近似系统动力学，并在提升空间中构造仿射约束，从而降低了对先验知识的依赖。此外，通过引入残差裕度来补偿近似误差，增强了安全滤波器的鲁棒性。实验结果表明，该方法在低维任务中能够完全避免约束违反，而在高维任务中虽然有所改善但仍存在挑战，这为后续研究指明了方向。