跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

GE-Sim 2.0:構建機器人操作綜合閉環視頻世界模擬器的路線圖

文章摘要

GE-Sim 2.0是一種基於動作條件視頻生成框架的閉環視頻世界模擬器,通過數千小時真實機器人數據重新訓練,提升了動作跟隨保真度和軌跡覆蓋。新增狀態專家、世界裁判和加速框架三個模塊,實現了從視頻模擬到策略學習的閉環。僅2B參數即登頂WorldArena排行榜,訓練的模型可遷移到真實世界。

來源arXiv Robotics作者: Boxiang Qiu, Liliang Chen, Yue Liao, Nan Wang, Lintao Wang, Jiayi Luo, Wenzhi Zhao, Shengcong Chen, Di Chen, Ye Li, Chen Gao, Shuicheng Yan, Si Liu, Maoqing Yao, Guanghui Ren
GE-Sim 2.0:構建機器人操作綜合閉環視頻世界模擬器的路線圖
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

GE-Sim 2.0(Genie Envisioner World Simulator 2.0)是一種用於機器人操作的閉環視頻世界模擬器,由香港大學等機構的研究團隊提出。該系統基於Genie Envisioner的動作條件視頻生成框架,但通過重新訓練,在數千小時的多樣化真實機器人數據上顯著提升了性能。這些數據涵蓋了遙操作、接觸豐富的交互以及機器人策略部署的真實場景,使得模型能夠更準確地跟隨動作指令,並覆蓋更廣泛的軌跡空間。

為了構建從視頻模擬到策略學習的完整閉環,GE-Sim 2.0引入了三個關鍵模塊。第一個是狀態專家模塊,它能夠從視頻的潛在變量中解碼出機器人的本體感知狀態(如關節角度和末端執行器位置),從而支持下游視覺-語言-動作(VLA)策略進行下一塊的預測。這一模塊彌補了純視頻生成模型無法提供狀態信息的不足,使得策略學習可以直接利用模擬視頻。第二個是世界裁判模塊,它根據任務指令對生成的視頻滾動進行評分,提供機器可驗證的成功信號和獎勵信號,從而取代了昂貴且耗時的人工檢查。第三個是加速框架,它能夠在單個NVIDIA H100 GPU上僅用2.3秒生成25幀視頻,並通過最多4倍的幀跳過推理實現長期評估,大大提高了模擬效率。

GE-Sim 2.0在公共WorldArena排行榜上以僅2B參數的成績登頂,超越了專門的機器人世界模型和閉源通用視頻生成器。更重要的是,基於其滾動和獎勵訓練的策略在真實機器人上表現出了可測量的性能提升,例如在多種操作任務中成功率顯著提高。這證明了GE-Sim 2.0作為可擴展評估和閉環操作策略學習平台的實用性。該工作為機器人領域提供了強大的模擬工具,有望加速從仿真到現實世界的策略遷移,並推動通用機器人操作智能的發展。

展開要點與分析

文章情報

工程師進階

要點

  • GE-Sim 2.0基於Genie Envisioner框架,利用數千小時真實機器人數據重新訓練。
  • 新增狀態專家模塊,從視頻潛在變量解碼本體感知狀態,支持下游VLA策略。
  • 世界裁判模塊自動評分生成軌跡,替代人工檢查。
  • 加速框架在單張H100上2.3秒生成25幀,支持長時序評估。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。

GE-Sim 2.0:構建機器人操作綜合閉環視頻世界模擬器的路線圖 | AI News Hub