模仿學習(Imitation Learning, IL)在機器人複雜操作任務中展現出強大的性能,例如流匹配(flow-matching)和擴散策略(diffusion policies)等方法取得了顯著成果。然而,這些策略即使在訓練分佈內運行時也經常失敗,原因是它們對初始條件極為敏感,且存在不可消除的近似誤差,導致誤差累積並引發複合漂移(compounding drift)。這種不穩定性使得IL策略在真實環境中部署時存在安全隱患,尤其是面對分佈外(out-of-distribution)場景時。為了確保安全部署,關鍵一步是讓策略能夠判斷自己是否能夠按照從示教中學習的方式執行任務。
針對這一挑戰,Riad Ahmed和Momotaz Begum在發表於arXiv的論文中提出了TAIL-Safe(Task-Agnostic Safety Monitoring for Imitation Learning Policies)方法。TAIL-Safe的核心思想是為訓練好的IL策略識別一個“安全集”(safe set),即在該集合內策略能夠經驗性地成功完成任務。為此,他們設計了一個Lipschitz連續的Q值函數,該函數將狀態-動作對映射到一個長期安全評分。這個評分基於三個短期的、任務無關的標準:可見性(visibility)、可識別性(recognizability)和可抓取性(graspability)。這些標準確保了策略在每一步都能判斷當前狀態是否安全。該Q函數的零超水平集(zero-superlevel set)刻畫了狀態-動作空間上的一個經驗控制不變集(empirical control invariant set)。
當策略提出的動作落在這個安全集之外時,TAIL-Safe會觸發一個恢復機制。該機制受Nagumo定理啓發,通過對Q函數進行梯度上升,將策略引導回安全區域。為了學習這個Q函數,研究人員利用高斯濺射(Gaussian Splatting)技術構建了高保真的數字孿生環境,從而在不危及真實硬件的情況下系統地收集失敗數據。這不僅降低了實驗風險,還使得模型能夠從更多失敗案例中學習。
實驗部分使用了Franka Emika機器人進行驗證。結果表明,未經TAIL-Safe引導的流匹配策略在運行時擾動下經常失敗,而在TAIL-Safe的輔助下,這些策略能夠持續穩定地完成任務。這一工作為模仿學習策略的安全部署提供了一種通用的、任務無關的解決方案,具有重要的實際意義。此外,該方法不依賴具體任務,因此可以廣泛應用於各種機器人操作場景,為未來機器人安全研究奠定了基礎。