模仿学习(Imitation Learning, IL)在机器人复杂操作任务中展现出强大的性能,例如流匹配(flow-matching)和扩散策略(diffusion policies)等方法取得了显著成果。然而,这些策略即使在训练分布内运行时也经常失败,原因是它们对初始条件极为敏感,且存在不可消除的近似误差,导致误差累积并引发复合漂移(compounding drift)。这种不稳定性使得IL策略在真实环境中部署时存在安全隐患,尤其是面对分布外(out-of-distribution)场景时。为了确保安全部署,关键一步是让策略能够判断自己是否能够按照从示教中学习的方式执行任务。
针对这一挑战,Riad Ahmed和Momotaz Begum在发表于arXiv的论文中提出了TAIL-Safe(Task-Agnostic Safety Monitoring for Imitation Learning Policies)方法。TAIL-Safe的核心思想是为训练好的IL策略识别一个“安全集”(safe set),即在该集合内策略能够经验性地成功完成任务。为此,他们设计了一个Lipschitz连续的Q值函数,该函数将状态-动作对映射到一个长期安全评分。这个评分基于三个短期的、任务无关的标准:可见性(visibility)、可识别性(recognizability)和可抓取性(graspability)。这些标准确保了策略在每一步都能判断当前状态是否安全。该Q函数的零超水平集(zero-superlevel set)刻画了状态-动作空间上的一个经验控制不变集(empirical control invariant set)。
当策略提出的动作落在这个安全集之外时,TAIL-Safe会触发一个恢复机制。该机制受Nagumo定理启发,通过对Q函数进行梯度上升,将策略引导回安全区域。为了学习这个Q函数,研究人员利用高斯溅射(Gaussian Splatting)技术构建了高保真的数字孪生环境,从而在不危及真实硬件的情况下系统地收集失败数据。这不仅降低了实验风险,还使得模型能够从更多失败案例中学习。
实验部分使用了Franka Emika机器人进行验证。结果表明,未经TAIL-Safe引导的流匹配策略在运行时扰动下经常失败,而在TAIL-Safe的辅助下,这些策略能够持续稳定地完成任务。这一工作为模仿学习策略的安全部署提供了一种通用的、任务无关的解决方案,具有重要的实际意义。此外,该方法不依赖具体任务,因此可以广泛应用于各种机器人操作场景,为未来机器人安全研究奠定了基础。