本文介绍了一篇于2026年6月24日提交至arXiv的机器人学研究论文，题为《RMTL: Reinforced Micro-task Learning for Long-Horizon Manipulation with VLM Rewards》（RMTL：面向长时程操作、基于VLM奖励的强化微任务学习）。论文作者为Anıl Can Ateş等三人，全文共16页、包含11张图，归类于机器人学（cs.RO），arXiv编号为2606.26175，DOI为10.48550/arXiv.2606.26175，由Cihan Topal提交。
论文首先指出机器人操作强化学习中的一个核心痛点：奖励函数的设计。传统做法要么由人工设计稠密奖励函数，这类函数难以调参且往往十分脆弱；要么从人类演示或偏好中学习奖励，而这类方式成本高昂。近年来出现的一类工作利用预训练的视觉语言模型（VLM）作为零样本奖励模型，用一个文本提示词就替代了上述成本，看似是一大进步。
然而作者提出了不同看法：对于初始条件随机化的长时程操作任务来说，单一的全局提示词过于粗糙。单一提示词的VLM奖励在轨迹的大部分区段上几乎呈平坦状态，智能体很难察觉到早期的进展，这严重拖慢了学习过程。
为此，作者提出强化微任务学习（RMTL）。该方法把一个操作任务分解成少量由语言描述的微任务，并训练智能体在这些微任务之间切换。在每一步，智能体根据当前激活的微任务提示词计算多视角VLM奖励，并对多个相机视角的奖励取平均，以降低特定视角遮挡带来的影响。
在训练流程上，RMTL采用逆课程（reverse curriculum）策略，逐步让智能体接触更困难的初始条件；同时，PPO工作器最初使用一个固定的基于距离的规则来选择当前激活的微任务。随后，该规则被替换成一个可学习的层次化管理器，从而把基于规则的阶段选择转变为完全可学习的层次化策略。
作者在Fetch操作环境中实例化RMTL，仅使用三个简短的、针对不同阶段的提示词，且没有进行额外的提示词调优。实验结果表明，与单一提示词的VLM奖励相比，RMTL提供了信息量更丰富的奖励信号，使学习速度更快。这些结果说明，将VLM奖励分解为针对微任务的语言提示词，能够显著提升语言引导的机器人操作强化学习的可扩展性。
从更广的意义上看，这项工作的价值在于揭示了一个容易被忽视的设计维度：VLM作为奖励模型时的提示词粒度问题。在长时程任务中，奖励信号的稀疏性和平坦性一直是强化学习的难点，RMTL通过任务分解加多视角奖励聚合的方式缓解了这一问题，并进一步用可学习的管理器替代人工规则，为语言引导的机器人强化学习提供了一条可扩展的路径。