EgoRecovery：通過人類恢復演示獲取故障恢復能力
本文提出EgoRecovery框架，利用人類第一人稱視頻數據訓練機器人故障恢復策略，比傳統遙操作效率高10倍以上，通過協同訓練對齊人類與機器人糾正意圖，僅需少量機器人演示即可實現可靠恢復。
來源arXiv Robotics作者: Zuhao Ge, Yuchen Zhou, Weitao Zhou, Minglei Li, Xinyu Li, Chao Wu, Hanwen Zhao, Haotian Wang, Zuxuan Wu, Xiaosong Jia, Yu-Gang Jiang
在非結構化和嘈雜的真實世界中，具備故障恢復能力是魯棒機器人的關鍵要求。然而，訓練這種能力需要大量包含恢復行為的數據，通過機器人遙操作收集此類數據耗時且難以規模化，因為誘導多樣化的故障狀態、執行糾正動作並重置環境非常低效。為了解決這一挑戰，來自佐治亞理工學院等機構的研究人員提出了一種名為EgoRecovery的新框架，該框架利用人類第一人稱視頻作為可擴展的數據源。
研究團隊設計了一套高效的任務級故障配置方案，讓人類操作者通過佩戴頭戴攝像機記錄短時恢復片段。實驗表明，在該協議下，人類操作者每小時可生成的有效恢復數據是傳統機器人遙操作的10倍以上。為了彌合人類與機器人之間的具身差異，EgoRecovery採用了一種協同訓練方法：將人類的恢復演示對齊到一個緊湊的糾正意圖空間，該空間同時包含機器人數據，並捕獲糾正的時機和幅度。僅需少量機器人恢復演示即可將這些意圖轉換為可執行的機器人動作。
在部署階段，系統通過一個學習得到的恢復門控機制，從機器人觀測中預測何時需要糾正，並僅在恢復狀態下激活糾正意圖。研究人員在真實世界的恢復任務上進行了實驗，結果顯示EgoRecovery在故障起始後的成功率上優於僅使用機器人恢復數據、直接協同訓練人類恢復數據以及直接意圖遷移等基線方法。該工作為機器人故障恢復提供了一種可擴展且高效的解決方案，有望推動機器人在複雜環境中的自主操作能力。