魯棒Koopman控制障礙濾波器用於安全的Actor-Critic強化學習

強化學習在機器人系統中的應用需要策略在提升任務性能的同時滿足狀態和輸入約束，尤其是在訓練和部署過程中。控制障礙函數（CBF）通過最小侵入式安全過濾器強制執行前向不變性，但其在無模型RL中的應用受到精確動力學和手動設計障礙證書需求的限制。本文提出魯棒Koopman-CBF SAC框架，這是一種安全過濾的actor-critic方法，從數據中學習有限維Koopman預測器，在升維空間中構造仿射CBF約束，並通過二次規劃安全層強制執行。為考慮有限維Koopman近似誤差，利用從留出軌跡數據估計的投影殘差邊界來收緊CBF條件。評論者網絡在執行的safe action上訓練，而actor網絡則正則化朝向Koopman-CBF可行集，減少對過濾器的依賴。在安全控制基準測試中，該方法在CartPole穩定和跟蹤任務上達到零約束違規，同時匹配或超過無約束SAC的回報。在高維Safety Gymnasium運動任務中，該方法在某些設置下減少了違規，但也暴露出了一階速度障礙和線性EDMD模型的重要侷限性，促使了高階和多步Koopman-CBF擴展的發展。這些結果表明，魯棒Koopman-CBF過濾器是無模型RL與可證明安全之間的有前途橋樑，同時闡明瞭此類過濾器保持有效的結構條件。所有代碼已在GitHub上公開。該方法的一個關鍵創新是利用投影殘差邊界來量化Koopman近似誤差，從而在理論上保證了安全約束的魯棒性。此外，通過將actor網絡正則化向可行集，減少了訓練過程中對安全過濾器的依賴，提高了學習效率。實驗部分詳細展示了在CartPole穩定和跟蹤任務中的零違規表現，以及在Safety Gymnasium中針對點質量、小車和四足機器人等任務的評估結果。儘管在高維任務中性能有所下降，但作者指出這是首次嘗試將Koopman理論與CBF結合用於無模型RL，併為進一步研究提供了方向。