ロボットシステムのための安全な強化学習（RL）では、トレーニング中も展開中も状態と入力の制約を満たしながらタスク性能を向上させるポリシーが求められる。制御バリア関数（CBF）は、最小限の介入で前方不変性を強制する原理的なメカニズムを提供するが、モデルフリーRLでの使用は、正確なダイナミクスと手設計のバリア証明書の必要性によって制限されている。そこで著者らは、Robust Koopman-CBF SACを提案する。これは安全フィルタ付きアクター・クリティックフレームワークであり、データから有限次元Koopman予測器を学習し、持ち上げ空間でアフィンCBF制約を構築し、二次計画法の安全層を通じてそれらを強制する。有限次元Koopman近似誤差を考慮するため、CBF条件はホールドアウトされたロールアウトデータから推定された投影残差マージンを用いて厳格化される。クリティックは実行された安全な行動で訓練され、アクターはKoopman-CBF実行可能集合に向けて正則化されるため、トレーニング中のフィルタへの依存が減少する。
安全制御ベンチマークでは、この手法はCartPoleの安定化とトラッキングにおいてゼロ制約違反を達成し、制約なしSACのリターンと同等かそれを上回る。Safety Gymnasiumの高次元ロコモーションタスクでは、一部の設定で違反を減少させるが、一次速度バリアと線形EDMDモデルの重要な限界も明らかにし、高次および多段Koopman-CBF拡張の動機付けとなる。これらの結果は、堅牢なKoopman-CBFフィルタがモデルフリーRLと認証可能な安全性の間の有望な橋渡しであることを示唆する一方、そのようなフィルタが有効であり続ける構造的条件を明らかにしている。すべてのコードはGitHubリポジトリで公開されている。
本論文は2026年5月26日に提出され、17ページ、7図からなり、ロボティクス（cs.RO）、機械学習（cs.LG）、システムと制御（eess.SY）の分野に属する。著者はDhruv S. Kushwahaと他1名である。DOIは10.48550/arXiv.2605.26452であり、PDFとHTML実験版が提供されている。コードリポジトリのリンクはhttps://github.com/DhruvKushwaha/Koopman-CBF-Soft-Actor-Criticである。
この研究の中心的貢献は、Koopman作用素理論と制御バリア関数を組み合わせ、モデルフリー強化学習のためのデータ駆動型安全フィルタ設計法を提供することにある。従来のCBF法は正確なシステムダイナミクスモデルと手設計のバリア関数を必要とするが、本手法は有限次元Koopman予測器を学習してシステムダイナミクスを近似し、持ち上げ空間でアフィン制約を構築することで、事前知識への依存を低減する。さらに、残差マージンを導入して近似誤差を補償し、安全フィルタの堅牢性を高める。実験結果は、低次元タスクでは制約違反を完全に回避できることを示す一方、高次元タスクでは改善が見られるものの課題が残り、今後の研究方向を示唆している。