跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

通過相位條件策略優化學習多階段機器人移動操作

文章摘要

該論文將PPO擴展為相位條件策略優化方法,利用相位條件的評論家、相位門控獎勵函數和多階段重置課程,在Unitree G1與人形機器人及搭載機械臂的Boston Dynamics Spot上訓練單一策略,完成多階段全身移動操作任務,無需依賴人類運動數據。

來源arXiv Robotics作者: Simone Manni, Annika Wollschl\"ager, Dario Bellicoso, Abel Gawel, Marco Hutter, Simon Le Cleac'h, Jan Br\"udigam
通過相位條件策略優化學習多階段機器人移動操作
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

這篇論文由Simone Manni等七位作者完成,於2026年10月26日提交至arXiv,歸類為機器人學(cs.RO),編號為arXiv:2610.36270v1。研究聚焦於一個長期困擾足式機器人領域的難題:如何讓機器人在單一的長時程任務中連貫地完成蹲伏、抓取、行走等多種全身運動與操作動作。研究者指出,簡單的拾取放置行為在現有技術中已相當成熟,但一旦擴展到步驟繁多、狀態複雜的長時間任務,性能便會顯著下降。

目前學界應對這一挑戰的主流思路是依賴人類動作捕捉數據,並配套使用人形機器人平台。作者認為這種做法存在明顯侷限:它把算法與特定硬件形態綁定,犧牲了平台獨立性,同時人類數據的採集、重定向與清洗也帶來大量額外處理開銷。為繞開這條路徑,論文提出直接擴展近端策略優化(PPO),用單一策略在多種機器人硬件上學習多階段任務,並把任務本身的階段結構作為先驗知識來塑造學習行為。

在方法層面,作者對PPO做了三處針對性改造。其一是“階段條件化的評論家網絡”(phase-conditioned critic),讓價值估計能夠感知當前所處的任務階段;其二是“階段門控獎勵函數”(phase-gated reward functions),使不同階段的獎勵只在對應階段生效,避免目標之間相互干擾;其三是“多階段重置課程”(multi-phase reset curriculum),通過在訓練中從不同階段重新初始化來引導探索。三者結合,使策略能夠在稀疏或分段的獎勵信號下學會完整的長程行為鏈。

為適配不同形態的硬件,研究採用瞭解耦的分層控制架構:底層負責平衡與基礎運動動力學,高層負責按階段調度動作執行。這種分離讓同一套高層階段邏輯可以遷移到不同機器人本體上,而不必為每種平台重新設計底層控制。作者表示,該方法完全依靠與環境交互獲得複雜的運動—操作技能,無需人類示範數據,同時把高層的任務結構直接嵌入策略學習過程。

實驗部分,作者在真實硬件上驗證了多階段運動—操作技能,使用的平台包括宇樹G1人形機器人和加裝了機械臂的波士頓動力Spot四足機器人,覆蓋了人形與四足兩種差異明顯的形態。論文還通過消融實驗檢驗了上述各項設計選擇的必要性。不過,摘要並未披露具體成功率、訓練時長或與基線方法的定量對比,這些細節需查閲全文與實驗章節才能確認。

從更廣的意義看,這項工作提出了一個值得關注的思路:與其讓機器人模仿人類動作,不如把任務的分階段結構顯式地寫進強化學習的目標與探索機制中,從而在保持平台無關性的同時降低對昂貴示範數據的依賴。若該方法能進一步在更多任務與硬件上覆現,將有助於推動長時程全身操作從實驗室演示走向實際部署。該文目前為首次提交版本(v1),發表於2026年10月,後續可能還有修訂。

展開要點與分析

文章情報

投資人進階

要點

  • 提出相位條件PPO,通過相位條件的評論家、相位門控獎勵函數和多階段重置課程將高層任務結構直接融入策略學習
  • 採用解耦的分層控制架構,將底層平衡動力學與高層相位執行分離,從而支持不同機器人硬件
  • 在Unitree G1和搭載機械臂的Boston Dynamics Spot實體硬件上演示了多階段移動操作技能,並通過消融實驗驗證設計選擇
  • 方法僅通過環境交互獲取複雜行為,擺脱了對人類運動數據和類人平台的依賴

技術影響

可能影響具身智能、機器人部署、傳感器集成和工業應用。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。