強化學習（RL）依賴於精確的獎勵函數，但在機器人等實際應用中，獎勵函數往往需要手工設計甚至難以獲取。近年來，預訓練視覺語言模型（VLM）的零樣本推理能力被探索用於獎勵模型，但若缺乏精心設計的提示，這些方法容易產生次優獎勵，其中誤報（false positives）會嚴重破壞下游策略學習。在機器人領域，通常收集少量專家示範數據（例如3-10條軌跡）來啓動策略學習，這為在策略訓練前優化獎勵模型提供了機會。
為此，研究團隊提出了Demo2Reward，一種測試時適應技術，通過少量示範優化獎勵模型的語言指令，從而在保持正確檢測的同時減少誤報。關鍵在於，該方法在策略學習過程中無需額外的模型訓練或計算資源。實驗表明，Demo2Reward在多種模擬機器人任務和策略主幹（如PPO、SAC）上持續優於現有的零樣本和少樣本VLM獎勵模型，平均獎勵準確率提升約15%。此外，該方法成功遷移到真實機器人學習場景，例如機械臂抓取任務，無需手動設計獎勵函數即可實現策略學習。
論文作者包括Christian Gumbsch等十位研究人員，論文於2026年5月22日提交至arXiv（編號2606.00083），涉及機器學習、人工智能和機器人學領域。該工作為利用少量示範數據優化VLM獎勵模型提供了一種高效、實用的解決方案，有望推動機器人學習在實際應用中的落地。