GE-Sim 2.0(Genie Envisioner World Simulator 2.0)是一種用於機器人操作的閉環視頻世界模擬器,由香港大學等機構的研究團隊提出。該系統基於Genie Envisioner的動作條件視頻生成框架,但通過重新訓練,在數千小時的多樣化真實機器人數據上顯著提升了性能。這些數據涵蓋了遙操作、接觸豐富的交互以及機器人策略部署的真實場景,使得模型能夠更準確地跟隨動作指令,並覆蓋更廣泛的軌跡空間。
為了構建從視頻模擬到策略學習的完整閉環,GE-Sim 2.0引入了三個關鍵模塊。第一個是狀態專家模塊,它能夠從視頻的潛在變量中解碼出機器人的本體感知狀態(如關節角度和末端執行器位置),從而支持下游視覺-語言-動作(VLA)策略進行下一塊的預測。這一模塊彌補了純視頻生成模型無法提供狀態信息的不足,使得策略學習可以直接利用模擬視頻。第二個是世界裁判模塊,它根據任務指令對生成的視頻滾動進行評分,提供機器可驗證的成功信號和獎勵信號,從而取代了昂貴且耗時的人工檢查。第三個是加速框架,它能夠在單個NVIDIA H100 GPU上僅用2.3秒生成25幀視頻,並通過最多4倍的幀跳過推理實現長期評估,大大提高了模擬效率。
GE-Sim 2.0在公共WorldArena排行榜上以僅2B參數的成績登頂,超越了專門的機器人世界模型和閉源通用視頻生成器。更重要的是,基於其滾動和獎勵訓練的策略在真實機器人上表現出了可測量的性能提升,例如在多種操作任務中成功率顯著提高。這證明了GE-Sim 2.0作為可擴展評估和閉環操作策略學習平台的實用性。該工作為機器人領域提供了強大的模擬工具,有望加速從仿真到現實世界的策略遷移,並推動通用機器人操作智能的發展。