長期的なタスクにおいて、大規模言語モデル（LLM）エージェントは逐次意思決定に強い能力を示しているが、その本質は依然として反応的である。人間はコミットする前に「もしも」の推論を用いて潜在的な計画を評価するが、標準的なエージェントは将来の結果をシミュレートする内部世界モデルを欠いている。このギャップに対処するため、新たな論文では、単一の自己回帰モデルを訓練して未来を意識した計画を内面化させることを提案している。具体的には、モデルに将来の状態ロールアウトと計画条件付き成功推定を自然言語で出力させる。後者はQ値のテキスト的類似物と見なせる。
研究チームは、形式と能力の間に存在するギャップを強調している。ポストトレーニング中に先読みトレースでエージェントを微調整するだけでは、モデルは先見性を表面的に模倣するだけで、真の予測的基盤を獲得できない。つまり、モデルはもっともらしい先読みテキストを出力することを学ぶが、内部的には将来の結果に対する信頼できるシミュレーション能力を構築していない可能性がある。このギャップを埋めるため、著者らは三段階の訓練パラダイムを設計した。
第一段階は世界モデルエージェント中間訓練（WM-AMT）で、潜在的な予測能力をポリシーに注入することを目的とする。第二段階は形式誘導監督微調整（FE-SFT）で、第一段階で注入された能力を構造化された出力形式に組織化する。第三段階は先見条件付き強化学習（FC-RL）で、生成されたシミュレーションの較正と有用性をさらに洗練させる。これら三段階は順に進み、能力優先の訓練パイプラインを形成する。
論文では検索および数学的推論タスクで評価が行われ、この手法が他の訓練ベースラインを一貫して上回ることが示された。著者らは、LLMエージェントにおける効果的な内部世界モデリングには、根拠があり較正された先見性を達成するために能力優先の訓練パイプラインが必要であると結論付けている。この研究は、複雑で長期的なタスクにおけるエージェントの計画能力を向上させるための新たな訓練アプローチを提供する。