跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

透過相位條件策略最佳化學習多階段機器人移動操作

文章摘要

該論文將PPO擴充套件為相位條件策略最佳化方法,利用相位條件的評論家、相位門控獎勵函式和多階段重置課程,在Unitree G1與人形機器人及搭載機械臂的Boston Dynamics Spot上訓練單一策略,完成多階段全身移動操作任務,無需依賴人類運動資料。

來源arXiv Robotics作者: Simone Manni, Annika Wollschl\"ager, Dario Bellicoso, Abel Gawel, Marco Hutter, Simon Le Cleac'h, Jan Br\"udigam
透過相位條件策略最佳化學習多階段機器人移動操作
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

這篇論文由Simone Manni等七位作者完成,於2026年10月26日提交至arXiv,歸類為機器人學(cs.RO),編號為arXiv:2610.36270v1。研究聚焦於一個長期困擾足式機器人領域的難題:如何讓機器人在單一的長時程任務中連貫地完成蹲伏、抓取、行走等多種全身運動與操作動作。研究者指出,簡單的拾取放置行為在現有技術中已相當成熟,但一旦擴充套件到步驟繁多、狀態複雜的長時間任務,效能便會顯著下降。

目前學界應對這一挑戰的主流思路是依賴人類動作捕捉資料,並配套使用人形機器人平臺。作者認為這種做法存在明顯侷限:它把演算法與特定硬體形態繫結,犧牲了平臺獨立性,同時人類資料的採集、重定向與清洗也帶來大量額外處理開銷。為繞開這條路徑,論文提出直接擴充套件近端策略最佳化(PPO),用單一策略在多種機器人硬體上學習多階段任務,並把任務本身的階段結構作為先驗知識來塑造學習行為。

在方法層面,作者對PPO做了三處針對性改造。其一是“階段條件化的評論家網路”(phase-conditioned critic),讓價值估計能夠感知當前所處的任務階段;其二是“階段門控獎勵函式”(phase-gated reward functions),使不同階段的獎勵只在對應階段生效,避免目標之間相互干擾;其三是“多階段重置課程”(multi-phase reset curriculum),透過在訓練中從不同階段重新初始化來引導探索。三者結合,使策略能夠在稀疏或分段的獎勵訊號下學會完整的長程行為鏈。

為適配不同形態的硬體,研究採用瞭解耦的分層控制架構:底層負責平衡與基礎運動動力學,高層負責按階段排程動作執行。這種分離讓同一套高層階段邏輯可以遷移到不同機器人本體上,而不必為每種平臺重新設計底層控制。作者表示,該方法完全依靠與環境互動獲得複雜的運動—操作技能,無需人類示範資料,同時把高層的任務結構直接嵌入策略學習過程。

實驗部分,作者在真實硬體上驗證了多階段運動—操作技能,使用的平臺包括宇樹G1人形機器人和加裝了機械臂的波士頓動力Spot四足機器人,覆蓋了人形與四足兩種差異明顯的形態。論文還透過消融實驗檢驗了上述各項設計選擇的必要性。不過,摘要並未披露具體成功率、訓練時長或與基線方法的定量對比,這些細節需查閱全文與實驗章節才能確認。

從更廣的意義看,這項工作提出了一個值得關注的思路:與其讓機器人模仿人類動作,不如把任務的分階段結構顯式地寫進強化學習的目標與探索機制中,從而在保持平臺無關性的同時降低對昂貴示範資料的依賴。若該方法能進一步在更多工與硬體上覆現,將有助於推動長時程全身操作從實驗室演示走向實際部署。該文目前為首次提交版本(v1),發表於2026年10月,後續可能還有修訂。

展開要點與分析

文章情報

投資人進階

要點

  • 提出相位條件PPO,透過相位條件的評論家、相位門控獎勵函式和多階段重置課程將高層任務結構直接融入策略學習
  • 採用解耦的分層控制架構,將底層平衡動力學與高層相位執行分離,從而支援不同機器人硬體
  • 在Unitree G1和搭載機械臂的Boston Dynamics Spot實體硬體上演示了多階段移動操作技能,並透過消融實驗驗證設計選擇
  • 方法僅透過環境互動獲取複雜行為,擺脫了對人類運動資料和類人平臺的依賴

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。