跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

将未来内化:面向世界模型规划的统一智能体训练范式

文章摘要

该论文指出大语言模型智能体在长程任务中本质上是反应式的,缺乏内部世界模型来模拟未来结果。作者提出三阶段训练范式,使单一自回归模型能够同时生成未来状态推演和计划条件成功估计(文本Q值),在搜索与数学推理任务上优于基线。

来源arXiv AI作者: Xuan Zhang, Zhijian Zhou, Lingfeng Qiao, Yulei Qin, Ke Li, Xing Sun, Xiaoyu Tan, Chao Qu, Yuan Qi
将未来内化:面向世界模型规划的统一智能体训练范式
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

arXiv 于 2026 年 6 月 25 日收录了一篇题为《Internalizing the Future: A Unified Agentic Training Paradigm for World Model Planning》的新论文(编号 arXiv:2606.27483v1,分类 cs.AI),作者为 Xuan Zhang 及另外八位合作者。该研究聚焦大型语言模型智能体在长程任务中的根本局限:它们虽然具备较强的序列决策能力,却始终是“反应式”的,缺乏人类那种在行动前通过“如果这样会怎样”的推演来评估备选方案的能力。标准智能体没有内部世界模型,无法模拟未来结果,因而难以在长周期任务中做出前瞻性判断。

论文提出的核心思路是把“面向未来的规划”内化到单一自回归模型中:训练模型用自然语言既叙述对后续状态的推演(prospective state rollout),又给出以计划为条件的成功概率估计,后者被视为 Q 值的文本化类比。也就是说,模型不再只是输出下一步动作,而是先“说出”未来的可能走向,再评估该计划成功的可能性。

研究还揭示了一个关键问题,作者称之为“格式—能力差距”(format-capability gap):如果在后训练阶段仅用前瞻轨迹对智能体做微调,模型只会表面模仿“有远见”的表达格式,而缺乏真正的预测依据。换言之,模型学会了说“我在预测未来”,却没有真正建立可用于决策的预测能力,这种表层模仿无法带来可靠的规划收益。

为弥合这一差距,作者设计了三阶段训练范式。第一阶段是“世界模型智能体中期训练”(World Model Agentic Mid-Training,WM-AMT),目的是把潜在的预测能力注入策略模型,让模型具备进行前瞻推演的基础能力;第二阶段是“格式引出监督微调”(Format-Eliciting SFT,FE-SFT),用于把已注入的能力组织成规范、可用的输出格式;第三阶段是“前瞻条件强化学习”(Foresight-Conditioned Reinforcement Learning,FC-RL),进一步提升所生成模拟的校准度与实用价值,使预测与实际结果更一致、对决策更有帮助。

在评估方面,作者在搜索任务和数学推理任务上对该方法进行了测试,结果显示其表现持续优于其他训练基线。论文总结认为,要让 LLM 智能体实现有效的内部世界建模,需要采用“能力优先”的训练流水线,才能获得有依据、经过校准的前瞻能力,而不是仅仅模仿前瞻的外在形式。

论文提交时间为 2026 年 6 月 25 日 19:05:44 UTC,全文约 19,366 KB,可通过 arXiv 查看 PDF 与 TeX 源码。需要注意的是,目前公开信息主要是论文摘要与元数据,代码、数据等配套资源尚未在该页面明确给出。该工作属于人工智能(cs.AI)方向,其意义在于为 LLM 智能体从“被动反应”走向“主动规划”提供了一条系统化的训练路径。

展开要点与分析

文章情报

工程师进阶

要点

  • LLM智能体缺乏内部世界模型,无法像人类一样进行“假如”推理来评估计划。
  • 提出三阶段训练:世界模型智能体中训练、格式诱导监督微调、前瞻条件强化学习。
  • 实验表明能力优先的训练流程能实现有根据且校准的前瞻能力,在搜索和数学推理任务上超越基线。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。