2026年10月21日,arXiv 上釋出了一篇題為《MPBRS: Multi-Potential-Based Reward Shaping for Unified Reward Configuration in Humanoid Locomotion》的機器人學(cs.RO)預印本論文,編號 arXiv:2610.30334(v1),同時歸類於人工智慧(cs.AI)方向。論文由 Van Chung Nguyen 與另一位作者共同完成,提交時間為 2026 年 10 月 21 日 18:52:28 UTC,全文約 4,035 KB。作者提交時使用了 arXiv-issued DOI(透過 DataCite,狀態為待註冊),即 https://doi.org/10.48550/arXiv.2610.30334。
論文所針對的核心問題是:在為人形機器人運動控制構建強化學習(RL)流水線時,獎勵函式的設計與調參仍然是最主要的難點之一。獎勵塑形(reward shaping)雖然能夠加速學習過程,但若塑形項設計得過於樸素或隨意,往往會與期望行為相沖突,容易對某一特定機器人過擬合,或是在權重發生細微變化時表現出不穩定性。這些問題使得獎勵工程在實際部署中既耗時又脆弱。
為此,作者採用了基於勢函式的獎勵塑形(Potential-Based Reward Shaping,PBRS)作為替代方案。PBRS 的基本思想是:透過勢函式之差來構造塑形獎勵,從而在不改變最優策略的前提下引導探索。也就是說,塑形隻影響學習路徑與探索效率,而不改變問題的最優解,這從根本上規避了傳統塑形項可能扭曲目標行為的問題。
在此基礎之上,論文進一步研究了面向人形機器人運動控制的多勢函式 PBRS(Multi-PBRS,MPBRS),並提出了一套統一的獎勵配置方案。其關鍵設計目標是讓同一套獎勵結構與權重能夠跨機器人複用:在實驗中,作者將完全相同的獎勵結構與權重應用於九款不同的人形機器人,而遷移時僅需提供機器人特定的後設資料,包括關節/連桿對映(joint/link mappings)與預設姿態(default poses),無需針對每臺機器人重新設計獎勵。
實驗結果顯示,與標準塑形方法相比,MPBRS 在不同機器人之間表現出更一致的縮放行為(scaling behavior),並且對調參的敏感度顯著降低。這意味著工程師可以更容易地完成獎勵調優,同時由於其勢函式差分的性質,調優過程不會改變最優策略。論文同時提供了 PDF、實驗性 HTML 版本以及 TeX 原始碼等全文連結,並附有音訊摘要功能。需要指出的是,該文為 arXiv 預印本(v1),尚未經過同行評審,其結論仍有待後續工作驗證;此外,跨九款機器人的評估雖提升了通用性論據的說服力,但機器人特定後設資料(關節/連桿對映與預設姿態)的準備仍是該統一配置落地時不可省略的前置條件。