跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

ReWorld:为世界动作模型学习更好的表示

文章摘要

ReWorld是首个专为自动驾驶世界动作模型设计的表示学习框架。它通过直接优化中间表示,沿三个维度改进:对生成模块施加未来预测监督,对规划模块进行跨模态对齐和难负样本监督。实验表明,ReWorld在nuScenes和NAVSIM上显著提升了视频生成质量和闭环规划性能,并加速了收敛。

来源arXiv Computer Vision作者: Tianze Xia, Lijun Zhou, Kaixin Xiong, Jingfeng Yao, Yu Zhu, Zhenxin Zhu, Bing Wang, Guang Chen, Hangjun Ye, Wenyu Liu, Haiyang Sun, Xinggang Wang
ReWorld:为世界动作模型学习更好的表示
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

世界动作模型(World Action Models, WAMs)是一种能够模拟行动条件下未来环境演化的模型,为自动驾驶提供了可扩展的范式。然而,现有研究主要侧重于模型架构的设计,而如何让WAM高效学习更好的世界表示以支持规划决策,仍然是一个未充分探索的问题。为了填补这一空白,研究人员提出了ReWorld,这是第一个专门为自动驾驶世界动作模型设计的表示学习框架。在标准的WAM训练中,只有生成模块和规划模块的输出端受到监督,那些携带世界知识的中间表示只能作为拟合这些输出的副产品被间接塑造。ReWorld的核心思想是将中间表示直接作为优化目标,从三个互补维度对其进行塑造:首先,在负责生成的Video DiT上,对其中间表示施加未来预测监督,使其能够更好地预测未来的场景演变;其次,在负责规划的Action DiT上,先将其中间表示与视频世界表示进行跨模态对齐,确保两种表示在语义上保持一致,然后通过难负样本监督进一步提高其围绕安全关键边界的判别能力,使得模型能够更准确地识别危险情况。此外,研究人员还系统分析了现有表示学习方法(如对比学习、掩码自编码器等)在视频生成世界模型中的有效性,并讨论了它们在此任务上表现有限的原因——这些方法往往忽视了生成任务和规划任务之间的耦合关系。实验在nuScenes和NAVSIM两个大规模自动驾驶数据集上进行,结果显示ReWorld将微调视频生成的FVD(Frechet Video Distance)从81.3降低到61.9,提升了23.9%;闭环PDMS(Perception and Driving Metric Score)从89.1提高到90.4,且无需任何后训练(如强化学习或后处理);同时,从头训练的速度加快了约2倍。这些结果证明了直接优化中间表示的有效性,为未来自动驾驶世界模型的研究提供了新方向。该论文由Tianze Xia等12位作者共同完成,于2026年6月25日提交至arXiv。

展开要点与分析

文章情报

工程师进阶

要点

  • ReWorld首次提出针对自动驾驶世界动作模型的表示学习框架。
  • 直接优化中间表示,而非仅监督输出端。
  • 在nuScenes上FVD降低23.9%,PDMS提升至90.4,收敛速度提升2倍。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。