近日，一篇發表於arXiv的論文提出了一種可認證安全的模型強化學習框架，旨在解決機器人在探索未知動態系統時的安全挑戰。該框架將控制理論分析與強化學習相結合，在保證任務效率的同時確保安全性。傳統方法往往忽略殘差模型不確定性的結構，例如控制仿射分量，這可能導致機器人行為過於保守或安全保證失效。
該研究首先使用控制仿射隨機傅立葉特徵（ARFF）對機器人動力學進行建模。這種建模方式將動力學表示為控制仿射形式，不僅計算效率高，能夠隨資料集規模線性擴充套件，還能有效減少模型偏差，為後續的模型強化學習提供更準確的動力學模型。
在不確定性量化方面，論文采用了一種無模型的自適應共形預測（ACP）方法。該方法能夠高效地量化由學習動力學模型引入的安全約束不確定性，為控制勢壘函式（CBF）的設計提供資料驅動的安全保證。透過ACP，研究者能夠在不依賴精確模型的情況下，原則性地合成安全的控制策略。
模擬實驗在推車杆和三維四旋翼兩個平臺上進行。結果表明，所提出的框架能夠有效平衡安全性和任務效率，在確保安全的前提下完成複雜任務。該論文已被IROS 2026接收，為安全強化學習在機器人領域的實際應用提供了新的思路，尤其是在需要嚴格安全保證的自主系統中。