机器人学习中的进度奖励建模：综述
本文全面综述了机器人学习中的进度奖励建模方法，指出现有终端成功信号的不足，并提出统一框架，从模型接口、信号构建方法和数据基准三个角度系统梳理了该领域的研究进展与局限性。
来源arXiv Robotics作者: Jianshu Zhang, Keliang Wu, Haoran Lu, Anbang Liu, Ce Zhang, Weijie Yin, Chengxuan Qian, Xiyuan Yang, Zhenyu Pan, Guo Ye, Han Liu
机器人学习在动态环境和大行为空间中运行，传统的终端成功信号仅能告知任务是否完成，无法反映当前行为是推进、停滞还是倒退。为此，近年来研究者越来越多地探索进度奖励（progress reward），即在任务执行过程中提供反馈。然而，该领域缺乏共享框架，现有方法在观测类型、目标规范、输出信号、监督来源和评估协议上各不相同，导致难以相互比较和理解其验证结果。本综述为机器人学习中的进度奖励建模提供了统一视角。作者将领域组织为三个相互关联的步骤：首先研究进度模型的接口，从外部定义问题——模型接收什么信息，产生何种形式的进度信号；然后深入模型内部，研究构建该信号的方法，揭示进度估计和奖励生成背后的不同假设与机制；最后考察支撑这些方法的数据和基准，展示如何获得进度监督以及不同评估实际衡量的内容。三者共同连接了进度模型是什么、如何构建以及如何验证其质量。综述还总结了当前方法的主要局限，包括过度依赖人工标注、缺乏统一基准、对复杂任务适应性不足等问题，并讨论了未来研究方向，如学习型进度估计、跨任务泛化以及与环境交互的在线学习等。本文为从事机器人学习和强化学习的研究者提供了系统性的参考，有助于推动该领域向更统一和可比较的方向发展。