GigaWorld-1:构建用于机器人策略评估的世界模型路线图
本文系统研究了用于机器人策略评估的世界模型,提出了WMBench基准测试,基于324,000个模拟策略 rollout 和真实机器人执行数据,分析了7种视频世界模型和4种动作表示方案。核心发现包括:评估器质量主要取决于长时程、动作保真的一致性,而非短期视觉真实感;预训练收益不仅来自数据规模,还需平衡通用世界知识与机器人特定可控性;架构选择(如动作编码、记忆设计)对与实际机器人行为的一致性有决定性影响。基于此,作者提出了实用设计路线图并实现了GigaWorld-1模型,同时开源了代码、模型、数据集和工具包。
评估具身机器人基础模型(embodied robot foundation models)仍然是该领域的关键瓶颈。与可以通过数字基准高效评估的大型语言模型不同,机器人策略需要缓慢且昂贵的真实世界部署,受限于硬件和人工监督。这促使研究者将世界模型作为策略的替代评估器,但使世界模型可靠评估策略的关键性质仍不明确。
本文对机器人策略评估中的世界模型进行了系统研究,并引入了WMBench基准。该基准基于真实机器人遥操作数据和匹配的策略部署构建,涵盖多种操作任务,如抓取、放置、装配等,支持在不同模型家族(如基于扩散的模型、Transformer-based world models)、动作编码(如关节角度、末端执行器位姿)、部署时域(从短程到长程)和评估指标(如PSNR、FID、一致性得分)之间进行受控比较。
利用WMBench,研究团队分析了7种视频世界模型(包括VideoPoet、Imagen Video、CogVideo等变体)、4种动作表示方案(包括离散化、连续嵌入、逆动力学编码等),以及超过324,000个模拟策略部署与真实机器人执行的配对数据。此外,他们还补充了来自CVPR 2026 GigaBrain挑战赛的大规模社区提交(涵盖超过50个团队提交的算法)、精心整理的合成轨迹(使用高质量物理模拟器生成)以及超过12,000小时的训练视频(包含多样化场景和失败案例)。
实验得出了三个核心见解:首先,评估器质量主要由长时程(long-horizon)、动作保真(action-faithful)的部署一致性决定,而非短期视觉真实感(如帧级PSNR)。即使一个世界模型能产生高保真的静态图像,如果它在长时间上无法保持对动作的因果响应,它就不是一个好的评估器。其次,预训练收益不仅来自数据规模,还来自通用世界知识与机器人特定可控性的平衡——纯粹在互联网视频上预训练的模型缺乏对机器人动作的显式建模,而完全在机器人数据上训练的模型则缺乏对物理常识的理解。最后,架构选择(包括动作编码的设计——是简单地拼接还是通过交叉注意力融合?记忆设计——是否使用循环状态或注意力缓存?评估器面向的后训练——是否使用对比学习或排序损失?)对与实际机器人行为的一致性有强烈决定作用。
基于这些结果,研究者推导出了一条实用的设计路线图:首先使用大规模互联网视频预训练获得通用表示,然后在机器人数据上使用显式动作条件注入进行微调,最后使用基于排序的损失函数对准评估器偏好。他们据此实现了GigaWorld-1——一个专门针对策略评估优化的世界模型,在多个基准任务上超越了现有方法。团队完全开源了代码、模型、数据集(含真实遥操作数据、模拟数据、社区提交)以及评估工具包,以推动具身基础模型的可扩展评估研究。该工作为机器人学习和评估社区提供了宝贵的资源,也为其他需要世界模型的领域(如自动驾驶、游戏AI)提供了参考。