來自卡內基梅隆大學的研究人員Yuhan Liu及其合作者提出了一種名為“預見性殘差強化學習”（Foresight Residual RL）的新方法，旨在解決視覺-語言-動作（VLA）模型在長時域機器人操作中的失效問題。VLA策略雖然具備強大的通用操作先驗知識，但在高精度、接觸密集的裝配任務中，由於長時域信用分配和子任務耦合問題，常常表現不佳。具體來説，一個在當前技能中幾何上成功的狀態，對於後續技能而言可能是脆弱的，從而導致整個任務鏈的失敗。
研究團隊首先展示了標準殘差強化學習在凍結的VLA基策略上的失敗模式。他們發現，使用恆定的稀疏成功獎勵雖然能夠孤立地提升每個子任務的成功率，但當這些技能被鏈接執行時，由於終端狀態的質量不受控制，整體任務的性能幾乎沒有任何提升。這表明，僅僅關注子任務是否成功是不夠的，還需要優化子任務之間的交接質量。
為了克服這一挑戰，他們提出了預見性殘差強化學習。該方法的核心是在每一個子任務的稀疏成功獎勵基礎上，增加一個離線估計的預見值，即當前子任務終止狀態下未來子任務成功的概率。具體實現分為兩步：首先，從基策略的終端狀態圖像訓練一個視覺預見器，並利用下游rollout統計數據為其打標籤；然後，通過反向預見歸納訓練殘差策略，將預見器的輸出作為獎勵乘數。
在Isaac Gym仿真環境中，他們針對一個包含抓取、移動-插入和旋轉三個階段的扳手螺母擰緊任務進行了測試。實驗結果表明，該方法取得了85.6%的完整任務成功率，遠超標準子任務殘差強化學習的54.5%和VLA基線的表現。值得注意的是，各子任務的孤立成功率保持不變，説明性能提升完全來源於子任務間交接質量的優化。
這些結果強調了在長時域任務中，不僅需要關注子任務是否成功，還需要精心塑造每個子任務所產生的成功狀態的質量。該研究已被IROS 2026會議接收，更多細節可在項目網站上獲取。