AI News HubLIVE
站内改写2 分钟阅读

GigaWorld-1:构建用于机器人策略评估的世界模型路线图

本文系统研究了用于机器人策略评估的世界模型,提出了WMBench基准测试,基于324,000个模拟策略 rollout 和真实机器人执行数据,分析了7种视频世界模型和4种动作表示方案。核心发现包括:评估器质量主要取决于长时程、动作保真的一致性,而非短期视觉真实感;预训练收益不仅来自数据规模,还需平衡通用世界知识与机器人特定可控性;架构选择(如动作编码、记忆设计)对与实际机器人行为的一致性有决定性影响。基于此,作者提出了实用设计路线图并实现了GigaWorld-1模型,同时开源了代码、模型、数据集和工具包。

来源arXiv Robotics作者: GigaWorld Team, Angyuan Ma, Boyuan Wang, Bohan Li, Chaojun Ni, Guo Li, Guan Huang, Guosheng Zhao, Hao Li, Hengtao Li, Jingyu Liu, Jiwen Lu, Qiuping Deng, Tingdong Yu, Xuancheng Xu, Xinyu Zhou, Xiuwei Xu, Xinze Chen, Xiaofeng Wang, Xiaoyu Tian, Yang Wang, Yifan Chang, Yukun Zhou, Yun Ye, Zhenyu Wu, Zhanqian Wu, Zheng Zhu

评估具身机器人基础模型(embodied robot foundation models)仍然是该领域的关键瓶颈。与可以通过数字基准高效评估的大型语言模型不同,机器人策略需要缓慢且昂贵的真实世界部署,受限于硬件和人工监督。这促使研究者将世界模型作为策略的替代评估器,但使世界模型可靠评估策略的关键性质仍不明确。

本文对机器人策略评估中的世界模型进行了系统研究,并引入了WMBench基准。该基准基于真实机器人遥操作数据和匹配的策略部署构建,涵盖多种操作任务,如抓取、放置、装配等,支持在不同模型家族(如基于扩散的模型、Transformer-based world models)、动作编码(如关节角度、末端执行器位姿)、部署时域(从短程到长程)和评估指标(如PSNR、FID、一致性得分)之间进行受控比较。

利用WMBench,研究团队分析了7种视频世界模型(包括VideoPoet、Imagen Video、CogVideo等变体)、4种动作表示方案(包括离散化、连续嵌入、逆动力学编码等),以及超过324,000个模拟策略部署与真实机器人执行的配对数据。此外,他们还补充了来自CVPR 2026 GigaBrain挑战赛的大规模社区提交(涵盖超过50个团队提交的算法)、精心整理的合成轨迹(使用高质量物理模拟器生成)以及超过12,000小时的训练视频(包含多样化场景和失败案例)。

实验得出了三个核心见解:首先,评估器质量主要由长时程(long-horizon)、动作保真(action-faithful)的部署一致性决定,而非短期视觉真实感(如帧级PSNR)。即使一个世界模型能产生高保真的静态图像,如果它在长时间上无法保持对动作的因果响应,它就不是一个好的评估器。其次,预训练收益不仅来自数据规模,还来自通用世界知识与机器人特定可控性的平衡——纯粹在互联网视频上预训练的模型缺乏对机器人动作的显式建模,而完全在机器人数据上训练的模型则缺乏对物理常识的理解。最后,架构选择(包括动作编码的设计——是简单地拼接还是通过交叉注意力融合?记忆设计——是否使用循环状态或注意力缓存?评估器面向的后训练——是否使用对比学习或排序损失?)对与实际机器人行为的一致性有强烈决定作用。

基于这些结果,研究者推导出了一条实用的设计路线图:首先使用大规模互联网视频预训练获得通用表示,然后在机器人数据上使用显式动作条件注入进行微调,最后使用基于排序的损失函数对准评估器偏好。他们据此实现了GigaWorld-1——一个专门针对策略评估优化的世界模型,在多个基准任务上超越了现有方法。团队完全开源了代码、模型、数据集(含真实遥操作数据、模拟数据、社区提交)以及评估工具包,以推动具身基础模型的可扩展评估研究。该工作为机器人学习和评估社区提供了宝贵的资源,也为其他需要世界模型的领域(如自动驾驶、游戏AI)提供了参考。