行動条件付き世界モデルは、費用のかかる実世界との相互作用を代替し、ロボット方策を改善するためのスケーラブルな手段として注目されている。しかし、既存の世界モデルベース手法の多くは、世界モデルを物理環境の前方予測に特化した代理物として扱うにとどまっている。つまり、現在の状態から未来を予測するだけで、実世界では得られない能力、すなわち過去の意思決定点まで戻って別の行動を選び、その結果生じる反事実的な未来を調べることは活用されていない。Jiayi Luo氏ら16名による論文「Rollback: Experience Backtracking in World Models for Policy Improvement」は、この空白に取り組んでいる。
研究チームが提案するRollbackは、世界モデルを受動的なシミュレータから「反事実エンジン」へと変える方策改善のパラダイムである。その手順は、まず重要な意思決定点まで巻き戻し、次に複数の代替行動へ分岐させ、それぞれの結果を比較する。これにより、どの意思決定が成功につながったのかを特定できる。想像力は軌跡全体に均等に費やされるのではなく、結果に最も影響する意思決定の瞬間に集中する。さらに、反事実的な結果は行動レベルの細かな教師信号として蒸留され、独立した価値モデルを別途学習する必要がない。
この考え方を実ロボットで機能させるため、著者らは分散型の世界モデル探索と非同期の実ロボット実行を統合したスケーラブルな学習システムを構築した。実世界の経験が世界モデルを継続的に修正し、より正確になった世界モデルが方策の改善をさらに促すという自己強化的なサイクルが生まれる。著者らはこのサイクルの世界モデル側の能力を「テスト時の物理グラウンディング」と呼ぶ。手作業で構築された物理シミュレータとは異なり、世界モデル自体が学習環境として機能し、その世界モデルが訓練する方策から得られる実遷移が、軽量なLoRAパイプラインを通じて世界モデルのダイナミクスを補正する。
実験は、難易度の高い3つの実世界タスクで行われた。ブロックの取り出し、ボール投げ、卓上カーリングである。その結果、Rollbackは最強のベースラインに対して成功率をそれぞれ10.67%、11.11%、11.85%絶対値で改善し、学習全体を通じてより安定した改善傾向を示した。さらに注目すべきは、人間よりはるかに低い遠隔操作のデモンストレーションから初期化されたにもかかわらず、ボール投げと卓上カーリングの両方で、学習8時間以内に人間プレイヤーの平均成功率を上回ったことである。
本論文は2026年10月26日にarXivへ投稿され、番号はarXiv:2610.36068v1、カテゴリはロボティクス（cs.RO）で、人工知能（cs.AI）と機械学習（cs.LG）にもまたがる。全文は約15MBで、PDF、実験的なHTML、TeXソースなどの形で公開されている。著者らが強調するRollbackの本質的な価値は、世界モデルを単なる前方予測器として使うのではなく、過去へ繰り返し戻り、異なる選択の結果を検証できる訓練ツールへと変える点にある。これにより、想像と実世界経験の補完関係を、実ロボットの方策学習においてより効率的に活用できる。