現代の行動条件付き動画世界モデルは、短い時間軸での視覚的なリアリズムにおいて高い性能を達成している一方で、下流の計画やポリシー性能を左右するような稀でインタラクション上重要な状態遷移については依然として信頼性が低い。受動的なデモンストレーションデータはこうした影響の大きい領域を体系的に過少サンプリングしてしまうため、ロバスト性を高めるには失敗が自然に起きるのを待つのではなく、モデルの失敗を能動的に引き出す必要がある。
そこで著者らは、KL制約付きの敵対的カリキュラムを提案する。これは、拡散ベースの世界モデルが高い誤差を示す軌道をポリシーに露出させるよう訓練しつつ、そのポリシーを行動分布の近傍に保つものである。世界モデルはこうして敵対的に発見された軌道で継続的にファインチューニングされ、希少な失敗を安定した分布内に近い訓練信号へと変換する敵対的訓練ループが形成される。これにより、分布外の脆弱性を突く方向へ逸脱することなく訓練を進められる。
モデルが改善するにつれて未解決の弱点への圧力を維持することも重要な課題となる。論文では優先化された敵対的軌道（PAT）バッファを導入し、予測誤差、行動忠実度、学習進捗に基づいて軌道を再順位付けすることで、すでに解決された事例を繰り返し訪れるのではなく、未解決の失敗モードに訓練を集中させる。この仕組みにより、モデルの向上に伴って敵対的カリキュラムの有効性が失われにくくなる。
研究チームはこの手法をMineRLフレームワークに実装し、ホールドアウトされた分布外軌道で評価した。その結果、PROWLは受動的データのみで訓練したモデルと比較してロバスト性を向上させた。また、行動制約が弱い場合には敵対的ポリシーが報酬ハッキング的な振る舞いを示すことも明らかになり、明示的な行動正則化が敵対的世界モデル訓練に不可欠であることが示された。
論文の中心的結論は、効果的な敵対的世界モデル訓練が探索的な失敗発見と明示的な行動正則化のバランスに大きく依存するという点である。より広く言えば、スケーラブルな世界モデルは大規模なデータセットだけでなく、情報量の多い訓練データを選択的に生成することからも恩恵を受ける。本論文は2026年5月11日にarXivへ投稿され、番号は2605.18803、著者はAhmet H. Güzel氏ら計7名で、機械学習（cs.LG）および人工知能（cs.AI）に分類されている。