視覚言語行動（VLA）モデルをはじめとする汎用ポリシーモデルが実機ロボットに導入されるにつれ、操作ポリシーの評価手法の重要性が高まっている。しかし現状の実環境評価は、多くの人手と時間を要し、結果も不安定で、得られる情報が限られている。具体的には、ハードウェア試行の反復、手動によるシーンリセット、オペレータによる継続的な監視が必要になるうえ、同じポリシーでも評価のたびにランキングが変わることがある。また、評価指標が成功率中心であり、動作の質を十分に反映しない。一方、人間がロボットの巧拙を判断するときは、最終状態だけでなく一連の行動全体を観察し、複数のポリシーを比較している。
この課題に対して、Yidi Wang 氏らは2026年9月3日にarXivへ投稿した論文（識別番号 2609.03276、cs.RO）において、R2S-Evalを提案した。R2S-Eval は、実世界からシミュレーションへのキャリブレーション（real-to-sim calibration）と、視覚言語モデル（VLM）による嗜好評価を組み合わせた評価パイプラインである。まず、実環境の評価設定に合わせて較正されたシミュレータ上でロールアウト動画を効率的に生成する。これにより、評価のたびに実機を繰り返し動かす必要が減り、人手と時間を抑えられる。次に、VLMがロールアウト動画の実行品質を判断し、ポリシーのペアごとにどちらが優れているかの嗜好を出力する。得られたペア嗜好を集計して、ポリシーの総合ランキングを構成する。著者らはさらに、提案パイプラインが検証された結論を出せているかを評価するプロトコルも導入し、従来の実環境評価が抱える問題を軽減しようとしている。
実験はシミュレーションと実環境の両方で実施され、R2S-Evalが信頼性と安定性を持つポリシー結論を提供できることが示された。また、人間の嗜好と一致し、繰り返しの実機作業を大幅に削減し、二値の成功ラベルでは捉えられない行動品質の差を浮き彫りにすることも確認された。たとえば、目標への接近経路の自然さ、動作の滑らかさ、複数ステップの順序の妥当性などである。著者は、R2S-Evalによってロボット評価が「手動の成功数え上げ」から「自動化され、統計的に安定し、品質を考慮する評価」へ前進すると論じている。詳細な情報はプロジェクトページ（r2s-eval.github.io）で公開されている。