强化学习系统的效果在很大程度上取决于奖励函数的质量，而在机器人等真实应用场景中，这样的奖励函数往往需要人工精心设计，甚至根本无从获得。为绕开这一瓶颈，近期研究开始尝试把预训练的视觉语言模型（VLM）当作零样本奖励模型来使用，借助其推理能力对任务完成情况进行判断。然而，这一思路存在明显隐患：如果提示词缺乏精心设计，VLM 产生的奖励往往不尽如人意，尤其是假阳性预测会严重损害下游的策略学习过程。
论文作者 Christian Gumbsch 及另外九位合作者提出了名为 Demo2Reward 的方法，其核心思路是把机器人领域常见的数据采集流程转化为优化奖励模型的契机。在机器人学习中，研究团队通常会先收集少量由专家演示的轨迹数据，用来启动策略学习。Demo2Reward 正是利用这少量演示——仅需 3 至 10 条轨迹——在策略训练开始之前对奖励模型的语言指令进行测试时适配，从而在保留真阳性的同时减少假阳性。
该方法的一个关键优势在于，它在策略学习阶段不引入任何额外的模型训练，也不增加计算资源开销。换言之，奖励模型的优化完全发生在测试时，通过调整 VLM 的语言提示来完成，而不会改变下游强化学习流程的既有结构。这使得 Demo2Reward 可以较为方便地嵌入现有的机器人学习管线。
在实验部分，作者在多种模拟机器人任务以及不同的策略骨干网络上对 Demo2Reward 进行了评估，结果显示其表现始终优于现有的零样本和少样本 VLM 奖励模型。这表明，仅凭极少量演示对提示进行优化，就能显著提升奖励信号的可靠性。
除仿真实验外，论文还展示了该方法在真实机器人学习场景中的迁移能力：借助 Demo2Reward，研究者无需手工设计奖励函数，也能完成策略学习。这一结果说明该方法具备向真实世界应用落地的潜力，为降低机器人强化学习对人工奖励工程的依赖提供了一条新路径。该论文于 2026 年 5 月 22 日提交至 arXiv，编号为 2606.00083，属于机器学习（cs.LG）分类，并交叉涉及人工智能（cs.AI）与机器人学（cs.RO）方向。