GigaWorld-1:構建用於機器人策略評估的世界模型路線圖
本文系統研究了用於機器人策略評估的世界模型,提出了WMBench基準測試,基於324,000個模擬策略 rollout 和真實機器人執行數據,分析了7種視頻世界模型和4種動作表示方案。核心發現包括:評估器質量主要取決於長時程、動作保真的一致性,而非短期視覺真實感;預訓練收益不僅來自數據規模,還需平衡通用世界知識與機器人特定可控性;架構選擇(如動作編碼、記憶設計)對與實際機器人行為的一致性有決定性影響。基於此,作者提出了實用設計路線圖並實現了GigaWorld-1模型,同時開源了代碼、模型、數據集和工具包。
評估具身機器人基礎模型(embodied robot foundation models)仍然是該領域的關鍵瓶頸。與可以通過數字基準高效評估的大型語言模型不同,機器人策略需要緩慢且昂貴的真實世界部署,受限於硬件和人工監督。這促使研究者將世界模型作為策略的替代評估器,但使世界模型可靠評估策略的關鍵性質仍不明確。
本文對機器人策略評估中的世界模型進行了系統研究,並引入了WMBench基準。該基準基於真實機器人遙操作數據和匹配的策略部署構建,涵蓋多種操作任務,如抓取、放置、裝配等,支持在不同模型家族(如基於擴散的模型、Transformer-based world models)、動作編碼(如關節角度、末端執行器位姿)、部署時域(從短程到長程)和評估指標(如PSNR、FID、一致性得分)之間進行受控比較。
利用WMBench,研究團隊分析了7種視頻世界模型(包括VideoPoet、Imagen Video、CogVideo等變體)、4種動作表示方案(包括離散化、連續嵌入、逆動力學編碼等),以及超過324,000個模擬策略部署與真實機器人執行的配對數據。此外,他們還補充了來自CVPR 2026 GigaBrain挑戰賽的大規模社區提交(涵蓋超過50個團隊提交的算法)、精心整理的合成軌跡(使用高質量物理模擬器生成)以及超過12,000小時的訓練視頻(包含多樣化場景和失敗案例)。
實驗得出了三個核心見解:首先,評估器質量主要由長時程(long-horizon)、動作保真(action-faithful)的部署一致性決定,而非短期視覺真實感(如幀級PSNR)。即使一個世界模型能產生高保真的靜態圖像,如果它在長時間上無法保持對動作的因果響應,它就不是一個好的評估器。其次,預訓練收益不僅來自數據規模,還來自通用世界知識與機器人特定可控性的平衡——純粹在互聯網視頻上預訓練的模型缺乏對機器人動作的顯式建模,而完全在機器人數據上訓練的模型則缺乏對物理常識的理解。最後,架構選擇(包括動作編碼的設計——是簡單地拼接還是通過交叉注意力融合?記憶設計——是否使用循環狀態或注意力緩存?評估器面向的後訓練——是否使用對比學習或排序損失?)對與實際機器人行為的一致性有強烈決定作用。
基於這些結果,研究者推導出了一條實用的設計路線圖:首先使用大規模互聯網視頻預訓練獲得通用表示,然後在機器人數據上使用顯式動作條件注入進行微調,最後使用基於排序的損失函數對準評估器偏好。他們據此實現了GigaWorld-1——一個專門針對策略評估優化的世界模型,在多個基準任務上超越了現有方法。團隊完全開源了代碼、模型、數據集(含真實遙操作數據、模擬數據、社區提交)以及評估工具包,以推動具身基礎模型的可擴展評估研究。該工作為機器人學習和評估社區提供了寶貴的資源,也為其他需要世界模型的領域(如自動駕駛、遊戲AI)提供了參考。