強化学習の成否は報酬関数の精度に大きく依存するが、ロボティクスをはじめとする実世界の応用では、報酬関数を人手で設計する必要があったり、そもそも入手できなかったりすることが多い。こうした障壁を回避する試みとして、事前学習済みの視覚言語モデル（VLM）をゼロショットの報酬モデルとして活用する研究が近年進められている。しかし、適切なプロンプト設計を行わなければ、得られる報酬は不十分なものになりがちであり、特に偽陽性の予測は下流の方策学習を大きく悪化させる。
Christian Gumbsch 氏ら10名の著者による論文は、Demo2Reward と呼ぶ手法を提案する。これは、ロボティクス分野で一般的なデータ収集の流れを、報酬モデル最適化の機会へと転換するものである。ロボット学習では、方策学習を起動するために、専門家によるデモンストレーションからなる小規模なデータセットを収集することがよく行われる。Demo2Reward はこのわずかなデモ（わずか3〜10本の軌跡）を利用し、方策学習を始める前に報酬モデルの言語指示をテスト時適応によって最適化する。これにより、真陽性を保ちながら偽陽性を削減する。
重要な点として、この手法は方策学習の段階で追加のモデル訓練や計算リソースを必要としない。すなわち、報酬モデルの改善はモデルの再学習ではなく、VLM への言語プロンプトの調整によってテスト時に完結するため、既存のロボット学習パイプラインに組み込みやすい設計になっている。
評価では、複数のシミュレーション上のロボットタスクと多様な方策バックボーンにわたり Demo2Reward を検証し、既存のゼロショットおよび少数ショットの VLM 報酬モデルを一貫して上回る性能を示した。これは、ごく少数のデモンストレーションに基づくプロンプト最適化だけで、報酬信号の信頼性を大幅に高められることを示している。
さらに論文は、シミュレーションにとどまらず、実世界のロボット学習シナリオへの転移も実証している。Demo2Reward を用いることで、報酬関数を手作業で設計することなく方策学習を実現できた。この結果は、ロボティクスにおける強化学習が人手による報酬設計への依存を減らせる可能性を示唆している。本論文は2026年5月22日に arXiv へ投稿されたもので、番号は 2606.00083、機械学習（cs.LG）に分類され、人工知能（cs.AI）およびロボティクス（cs.RO）にもまたがる内容となっている。