跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

RGB:強化學習引導的全身MPPI人形機器人控制

文章摘要

RGB框架將預訓練的強化學習策略作為取樣先驗,結合模型預測路徑積分(MPPI)線上最佳化,無需重新訓練即可實現人形機器人的全身魯棒控制。在Unitree G1模擬中達到280Hz控制率,任務精度顯著提升。

來源arXiv Robotics作者: Yunsoo Seo, Sol Choi, Euncheol Im, Myo Taeg Lim, Yisoo Lee
RGB:強化學習引導的全身MPPI人形機器人控制
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

人形機器人需要在複雜接觸環境中實現既魯棒又精確的全身控制。深度強化學習(RL)雖然能夠提供穩健的穩定性,但其行為與訓練目標和命令介面緊密耦合,新增新的反饋目標通常需要重新訓練整個策略。為了解決這一難題,韓國科學技術院(KAIST)等機構的研究人員提出了RGB(RL Guided Whole-Body MPPI)框架,這是一種即插即用的反饋控制器,可部署在預訓練的RL策略之上。

RGB的核心創新在於,不將RL策略作為最終控制器,而是將其作為取樣先驗,用於引導模型預測路徑積分(MPPI)的滾動最佳化趨向於動力學可行的行為。任務目標透過模組化的MPPI成本項指定,MPPI透過線上連續校正RL先驗來滿足這些目標,而無需重新訓練策略。這種設計使得RGB能夠靈活地適應新任務,只需調整成本函式即可,極大地增強了控制器的通用性和可擴充套件性。

在MuJoCo模擬環境中,研究團隊對Unitree G1人形機器人(29個自由度)進行了大量實驗驗證。實驗結果顯示,RGB實現了穩定的高速控制,平均控制頻率達到280赫茲,這對於即時控制至關重要。與純RL基線相比,RGB在相同命令介面下顯著提升了任務級精度——具體表現為糾正了直線行走時的系統性漂移,併成功跟蹤了透過成本函式施加的額外全身參考訊號,例如手臂姿態和軀幹方向等。

研究人員指出,RGB框架特別適用於需要高精度和魯棒性的場合,如工業操作、災難救援或家庭服務等。由於不需要重新訓練策略,RGB可以快速適應新任務,降低了部署成本。此外,RGB的模組化設計允許研究人員和工程師根據具體需求定製成本項,進一步擴充套件其應用範圍。該研究論文已提交至arXiv,並附帶了完整的影片演示,展示了RGB在不同任務場景下的卓越效能。

展開要點與分析

文章情報

工程師進階

要點

  • RGB利用RL策略作為MPPI的取樣先驗,使得新目標可以透過成本函式靈活新增,避免重新訓練。
  • MPPI線上校正RL先驗,糾正行走漂移並跟蹤全身參考訊號,實現精確控制。
  • 在29自由度Unitree G1人形機器人MuJoCo模擬中實現平均280Hz的穩定高速控制。
  • 與純RL基線相比,RGB在相同命令介面下顯著提高了任務級精度。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。