AI News HubLIVE
站內改寫2 分鐘閱讀

GigaWorld-1:構建用於機器人策略評估的世界模型路線圖

本文系統研究了用於機器人策略評估的世界模型,提出了WMBench基準測試,基於324,000個模擬策略 rollout 和真實機器人執行數據,分析了7種視頻世界模型和4種動作表示方案。核心發現包括:評估器質量主要取決於長時程、動作保真的一致性,而非短期視覺真實感;預訓練收益不僅來自數據規模,還需平衡通用世界知識與機器人特定可控性;架構選擇(如動作編碼、記憶設計)對與實際機器人行為的一致性有決定性影響。基於此,作者提出了實用設計路線圖並實現了GigaWorld-1模型,同時開源了代碼、模型、數據集和工具包。

來源arXiv Robotics作者: GigaWorld Team, Angyuan Ma, Boyuan Wang, Bohan Li, Chaojun Ni, Guo Li, Guan Huang, Guosheng Zhao, Hao Li, Hengtao Li, Jingyu Liu, Jiwen Lu, Qiuping Deng, Tingdong Yu, Xuancheng Xu, Xinyu Zhou, Xiuwei Xu, Xinze Chen, Xiaofeng Wang, Xiaoyu Tian, Yang Wang, Yifan Chang, Yukun Zhou, Yun Ye, Zhenyu Wu, Zhanqian Wu, Zheng Zhu

評估具身機器人基礎模型(embodied robot foundation models)仍然是該領域的關鍵瓶頸。與可以通過數字基準高效評估的大型語言模型不同,機器人策略需要緩慢且昂貴的真實世界部署,受限於硬件和人工監督。這促使研究者將世界模型作為策略的替代評估器,但使世界模型可靠評估策略的關鍵性質仍不明確。

本文對機器人策略評估中的世界模型進行了系統研究,並引入了WMBench基準。該基準基於真實機器人遙操作數據和匹配的策略部署構建,涵蓋多種操作任務,如抓取、放置、裝配等,支持在不同模型家族(如基於擴散的模型、Transformer-based world models)、動作編碼(如關節角度、末端執行器位姿)、部署時域(從短程到長程)和評估指標(如PSNR、FID、一致性得分)之間進行受控比較。

利用WMBench,研究團隊分析了7種視頻世界模型(包括VideoPoet、Imagen Video、CogVideo等變體)、4種動作表示方案(包括離散化、連續嵌入、逆動力學編碼等),以及超過324,000個模擬策略部署與真實機器人執行的配對數據。此外,他們還補充了來自CVPR 2026 GigaBrain挑戰賽的大規模社區提交(涵蓋超過50個團隊提交的算法)、精心整理的合成軌跡(使用高質量物理模擬器生成)以及超過12,000小時的訓練視頻(包含多樣化場景和失敗案例)。

實驗得出了三個核心見解:首先,評估器質量主要由長時程(long-horizon)、動作保真(action-faithful)的部署一致性決定,而非短期視覺真實感(如幀級PSNR)。即使一個世界模型能產生高保真的靜態圖像,如果它在長時間上無法保持對動作的因果響應,它就不是一個好的評估器。其次,預訓練收益不僅來自數據規模,還來自通用世界知識與機器人特定可控性的平衡——純粹在互聯網視頻上預訓練的模型缺乏對機器人動作的顯式建模,而完全在機器人數據上訓練的模型則缺乏對物理常識的理解。最後,架構選擇(包括動作編碼的設計——是簡單地拼接還是通過交叉注意力融合?記憶設計——是否使用循環狀態或注意力緩存?評估器面向的後訓練——是否使用對比學習或排序損失?)對與實際機器人行為的一致性有強烈決定作用。

基於這些結果,研究者推導出了一條實用的設計路線圖:首先使用大規模互聯網視頻預訓練獲得通用表示,然後在機器人數據上使用顯式動作條件注入進行微調,最後使用基於排序的損失函數對準評估器偏好。他們據此實現了GigaWorld-1——一個專門針對策略評估優化的世界模型,在多個基準任務上超越了現有方法。團隊完全開源了代碼、模型、數據集(含真實遙操作數據、模擬數據、社區提交)以及評估工具包,以推動具身基礎模型的可擴展評估研究。該工作為機器人學習和評估社區提供了寶貴的資源,也為其他需要世界模型的領域(如自動駕駛、遊戲AI)提供了參考。