在机器人操作策略的开发与部署中，策略评估是一项基础但极具挑战的任务。现代操作系统面临三大难题：奖励稀疏（仅当任务成功时获得正奖励）、任务进展非单调（因策略包含恢复行为，轨迹进度可能反复），以及评估轨迹必然有限长。有限长度引入截断偏差，破坏依赖贝尔曼方程或最优性原理的标准方法所基于的无限水平假设。
针对这一困境，来自研究团队的最新论文提出了一种基于活性Bellman算子的离线策略评估框架。该框架将策略评估重新解释为“任务完成问题”，而非传统累积奖励最大化问题。具体地，它定义了一个活性折扣因子，使得值函数编码任务是否完成以及完成进度，同时生成一个保守的固定点值函数。该函数对有限水平截断具有鲁棒性：即使在截断点任务未完成，其估计也很少过度乐观。研究者分析了算子的理论特性，包括收缩保证，证明其能有效编码任务进展并缓解截断偏差。
实验部分在三个场景中评估了方法。两个模拟操作任务分别使用视觉-语言-动作（VLA）模型和扩散策略，第三个是布料折叠任务，使用人类演示数据。结果表明，新方法相比经典的TD(0)和蒙特卡洛策略评估，能更准确地反映任务进度（例如，在任务早期截断时，正确判断任务未完成而非错误高估），并大幅降低截断偏差。该论文已被机器人顶级会议RSS 2026接收。