近日，一篇发表于arXiv的论文提出了一种可认证安全的模型强化学习框架，旨在解决机器人在探索未知动态系统时的安全挑战。该框架将控制理论分析与强化学习相结合，在保证任务效率的同时确保安全性。传统方法往往忽略残差模型不确定性的结构，例如控制仿射分量，这可能导致机器人行为过于保守或安全保证失效。
该研究首先使用控制仿射随机傅里叶特征（ARFF）对机器人动力学进行建模。这种建模方式将动力学表示为控制仿射形式，不仅计算效率高，能够随数据集规模线性扩展，还能有效减少模型偏差，为后续的模型强化学习提供更准确的动力学模型。
在不确定性量化方面，论文采用了一种无模型的自适应共形预测（ACP）方法。该方法能够高效地量化由学习动力学模型引入的安全约束不确定性，为控制势垒函数（CBF）的设计提供数据驱动的安全保证。通过ACP，研究者能够在不依赖精确模型的情况下，原则性地合成安全的控制策略。
仿真实验在推车杆和三维四旋翼两个平台上进行。结果表明，所提出的框架能够有效平衡安全性和任务效率，在确保安全的前提下完成复杂任务。该论文已被IROS 2026接收，为安全强化学习在机器人领域的实际应用提供了新的思路，尤其是在需要严格安全保证的自主系统中。