来自卡内基梅隆大学的研究人员Yuhan Liu及其合作者提出了一种名为“预见性残差强化学习”（Foresight Residual RL）的新方法，旨在解决视觉-语言-动作（VLA）模型在长时域机器人操作中的失效问题。VLA策略虽然具备强大的通用操作先验知识，但在高精度、接触密集的装配任务中，由于长时域信用分配和子任务耦合问题，常常表现不佳。具体来说，一个在当前技能中几何上成功的状态，对于后续技能而言可能是脆弱的，从而导致整个任务链的失败。
研究团队首先展示了标准残差强化学习在冻结的VLA基策略上的失败模式。他们发现，使用恒定的稀疏成功奖励虽然能够孤立地提升每个子任务的成功率，但当这些技能被链接执行时，由于终端状态的质量不受控制，整体任务的性能几乎没有任何提升。这表明，仅仅关注子任务是否成功是不够的，还需要优化子任务之间的交接质量。
为了克服这一挑战，他们提出了预见性残差强化学习。该方法的核心是在每一个子任务的稀疏成功奖励基础上，增加一个离线估计的预见值，即当前子任务终止状态下未来子任务成功的概率。具体实现分为两步：首先，从基策略的终端状态图像训练一个视觉预见器，并利用下游rollout统计数据为其打标签；然后，通过反向预见归纳训练残差策略，将预见器的输出作为奖励乘数。
在Isaac Gym仿真环境中，他们针对一个包含抓取、移动-插入和旋转三个阶段的扳手螺母拧紧任务进行了测试。实验结果表明，该方法取得了85.6%的完整任务成功率，远超标准子任务残差强化学习的54.5%和VLA基线的表现。值得注意的是，各子任务的孤立成功率保持不变，说明性能提升完全来源于子任务间交接质量的优化。
这些结果强调了在长时域任务中，不仅需要关注子任务是否成功，还需要精心塑造每个子任务所产生的成功状态的质量。该研究已被IROS 2026会议接收，更多细节可在项目网站上获取。