カーネギーメロン大学のYuhan Liu氏とその共同研究者らは、長期的なロボット操作における視覚言語行動（VLA）モデルの失敗を解決するため、「先見的残差強化学習（Foresight Residual RL）」と呼ばれる新しい手法を提案した。VLAポリシーは強力な汎用操作の事前知識を提供するが、高精度で接触の多い組立タスクでは、長期的なクレジット割り当てとサブタスク結合の問題により、しばしば失敗する。具体的には、現在のスキルで幾何学的に成功した状態でも、後続のスキルにとっては脆弱であることが多い。
研究チームはまず、凍結されたVLAベースポリシー上での標準的な残差強化学習の失敗モードを示した。一定のスパース成功報酬は個々のサブタスクを孤立して改善するが、スキルを連鎖させると終了状態の品質が制御されないため、全体の性能向上はほとんど見られない。これは、サブタスクの成功だけでなく、サブタスク間の引き継ぎ品質を最適化する必要があることを示している。
この課題を解決するため、彼らは先見的残差強化学習を提案した。この手法の核心は、各サブタスクのスパース成功報酬に、オフライン推定された先見的価値（現在のサブタスク終了状態における将来のサブタスク成功確率）を追加することである。具体的には、まずベースポリシーの終了状態画像から視覚的先見予測器を訓練し、ダウンストリームのロールアウト統計を用いてラベル付けする。次に、逆方向先見帰納法により残差ポリシーを訓練し、予測器の出力を報酬乗数として使用する。
Isaac Gymシミュレーション環境において、把持、移動・挿入、回転の3フェーズからなるレンチベースのナット締め付けタスクで評価した結果、本手法は85.6%の完全タスク成功率を達成し、標準サブタスク残差RLの54.5%やVLAベースラインを大幅に上回った。各サブタスクの単独成功率は変わらないままであることから、性能向上がサブタスク間の引き継ぎ品質の最適化によるものであることが確認された。
これらの結果は、長期的な性能向上には各サブタスクが成功するかどうかだけでなく、どのような成功状態を生成するかを制御することが重要であることを示している。本研究はIROS 2026に採択されており、プロジェクトウェブサイトで詳細が公開されている。