人形機器人需要在複雜接觸環境中實現既魯棒又精確的全身控制。深度強化學習(RL)雖然能夠提供穩健的穩定性,但其行為與訓練目標和命令介面緊密耦合,新增新的反饋目標通常需要重新訓練整個策略。為了解決這一難題,韓國科學技術院(KAIST)等機構的研究人員提出了RGB(RL Guided Whole-Body MPPI)框架,這是一種即插即用的反饋控制器,可部署在預訓練的RL策略之上。
RGB的核心創新在於,不將RL策略作為最終控制器,而是將其作為取樣先驗,用於引導模型預測路徑積分(MPPI)的滾動最佳化趨向於動力學可行的行為。任務目標透過模組化的MPPI成本項指定,MPPI透過線上連續校正RL先驗來滿足這些目標,而無需重新訓練策略。這種設計使得RGB能夠靈活地適應新任務,只需調整成本函式即可,極大地增強了控制器的通用性和可擴充套件性。
在MuJoCo模擬環境中,研究團隊對Unitree G1人形機器人(29個自由度)進行了大量實驗驗證。實驗結果顯示,RGB實現了穩定的高速控制,平均控制頻率達到280赫茲,這對於即時控制至關重要。與純RL基線相比,RGB在相同命令介面下顯著提升了任務級精度——具體表現為糾正了直線行走時的系統性漂移,併成功跟蹤了透過成本函式施加的額外全身參考訊號,例如手臂姿態和軀幹方向等。
研究人員指出,RGB框架特別適用於需要高精度和魯棒性的場合,如工業操作、災難救援或家庭服務等。由於不需要重新訓練策略,RGB可以快速適應新任務,降低了部署成本。此外,RGB的模組化設計允許研究人員和工程師根據具體需求定製成本項,進一步擴充套件其應用範圍。該研究論文已提交至arXiv,並附帶了完整的影片演示,展示了RGB在不同任務場景下的卓越效能。