ロボット操作ポリシーの開発と展開において、方策評価は基本的な構成要素ですが、現代の操作システムでは特に困難な問題があります。報酬はスパースであることが多く（タスク成功時のみ正の報酬）、評価ロールアウトにおけるタスク進行は回復行動のために非単調であり、評価ロールアウトは必然的に有限長です。この有限長は打ち切りバイアスを導入し、ベルマン方程式や最適性原理に依存する標準的な手法の基盤となる無限水平仮定を破壊します。
本研究では、活性に基づくベルマン作用素を用いたスパース報酬からのオフライン方策評価フレームワークを提案します。この定式化は、方策評価を「タスク完了問題」として解釈し、従来の累積報酬最大化問題とは異なります。具体的には、活性割引因子を定義し、価値関数がタスクの完了と進捗を符号化するようにします。これにより、有限水平打ち切りに対してロバストな保守的固定点価値関数を生成します。理論的な解析では、提案する作用素の縮小保証を含む特性を示し、打ち切りバイアスを軽減しながらタスク進行を符号化する方法を明らかにします。
評価は三つのシナリオで行いました。二つのシミュレーション操作タスクでは、視覚言語行動（VLA）モデルと拡散方策を使用し、三つ目は布折りタスクで人間のデモンストレーションを用いました。実験結果は、本手法がTD(0)やモンテカルロ方策評価などの古典的なベースラインよりもタスクの進捗を正確に反映し、打ち切りバイアスを大幅に低減することを示しました。本論文はロボット工学のトップ会議RSS 2026で発表されました。