2026年10月21日,arXiv 上发布了一篇题为《MPBRS: Multi-Potential-Based Reward Shaping for Unified Reward Configuration in Humanoid Locomotion》的机器人学(cs.RO)预印本论文,编号 arXiv:2610.30334(v1),同时归类于人工智能(cs.AI)方向。论文由 Van Chung Nguyen 与另一位作者共同完成,提交时间为 2026 年 10 月 21 日 18:52:28 UTC,全文约 4,035 KB。作者提交时使用了 arXiv-issued DOI(通过 DataCite,状态为待注册),即 https://doi.org/10.48550/arXiv.2610.30334。
论文所针对的核心问题是:在为人形机器人运动控制构建强化学习(RL)流水线时,奖励函数的设计与调参仍然是最主要的难点之一。奖励塑形(reward shaping)虽然能够加速学习过程,但若塑形项设计得过于朴素或随意,往往会与期望行为相冲突,容易对某一特定机器人过拟合,或是在权重发生细微变化时表现出不稳定性。这些问题使得奖励工程在实际部署中既耗时又脆弱。
为此,作者采用了基于势函数的奖励塑形(Potential-Based Reward Shaping,PBRS)作为替代方案。PBRS 的基本思想是:通过势函数之差来构造塑形奖励,从而在不改变最优策略的前提下引导探索。也就是说,塑形只影响学习路径与探索效率,而不改变问题的最优解,这从根本上规避了传统塑形项可能扭曲目标行为的问题。
在此基础之上,论文进一步研究了面向人形机器人运动控制的多势函数 PBRS(Multi-PBRS,MPBRS),并提出了一套统一的奖励配置方案。其关键设计目标是让同一套奖励结构与权重能够跨机器人复用:在实验中,作者将完全相同的奖励结构与权重应用于九款不同的人形机器人,而迁移时仅需提供机器人特定的元数据,包括关节/连杆映射(joint/link mappings)与默认姿态(default poses),无需针对每台机器人重新设计奖励。
实验结果显示,与标准塑形方法相比,MPBRS 在不同机器人之间表现出更一致的缩放行为(scaling behavior),并且对调参的敏感度显著降低。这意味着工程师可以更容易地完成奖励调优,同时由于其势函数差分的性质,调优过程不会改变最优策略。论文同时提供了 PDF、实验性 HTML 版本以及 TeX 源码等全文链接,并附有音频摘要功能。需要指出的是,该文为 arXiv 预印本(v1),尚未经过同行评审,其结论仍有待后续工作验证;此外,跨九款机器人的评估虽提升了通用性论据的说服力,但机器人特定元数据(关节/连杆映射与默认姿态)的准备仍是该统一配置落地时不可省略的前置条件。