在機器人操作策略的開發與部署中，策略評估是一項基礎但極具挑戰的任務。現代作業系統面臨三大難題：獎勵稀疏（僅當任務成功時獲得正獎勵）、任務進展非單調（因策略包含恢復行為，軌跡進度可能反覆），以及評估軌跡必然有限長。有限長度引入截斷偏差，破壞依賴貝爾曼方程或最優性原理的標準方法所基於的無限水平假設。
針對這一困境，來自研究團隊的最新論文提出了一種基於活性Bellman運算元的離線策略評估框架。該框架將策略評估重新解釋為“任務完成問題”，而非傳統累積獎勵最大化問題。具體地，它定義了一個活性折扣因子，使得值函式編碼任務是否完成以及完成進度，同時生成一個保守的固定點值函式。該函式對有限水平截斷具有魯棒性：即使在截斷點任務未完成，其估計也很少過度樂觀。研究者分析了運算元的理論特性，包括收縮保證，證明其能有效編碼任務進展並緩解截斷偏差。
實驗部分在三個場景中評估了方法。兩個模擬操作任務分別使用視覺-語言-動作（VLA）模型和擴散策略，第三個是布料摺疊任務，使用人類演示資料。結果表明，新方法相比經典的TD(0)和蒙特卡洛策略評估，能更準確地反映任務進度（例如，在任務早期截斷時，正確判斷任務未完成而非錯誤高估），並大幅降低截斷偏差。該論文已被機器人頂級會議RSS 2026接收。