跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

E0.5:從重建到未來預測的機器人世界-動作建模三維基礎模型

文章摘要

E0.5 是一種以三維基礎模型為主幹的世界-動作模型,將三維幾何作為世界建模與動作預測的原生表示,並顯式預測未來三維狀態。在 RoboTwin 2.0 上,未使用具身資料預訓練即取得 89.90% 和 50.09% 的成功率;在 AgiBotWorld-Beta 的 16 萬條以上機器人軌跡上預訓練後,在 AgileX Piper 和 Zerith H1 上的真實操作成功率分別提升約 15 和 7 個百分點。

來源arXiv Robotics作者: Era AI Lab Team, Jianhao Lai, Zhihao Zhan, Zhiquan Liao, Qichang Li, Shubin Chen, Zhiyuan Liu, Hongsen Lei, Jianman Lin, Xiaoxin Lin, Ke Gong, Baiyue Gu, Shiming Chen, Junlin He, Longqi Yang, Junrong Xiao, Haolin Luo, Xiaojuan Su, Jianfeng Li, Yu Luo, Xu Sun, Likui Zhang, Jusheng Zhang, Qinhan Lyu, Tianshui Chen, Liang Lin, Guangrun Wang
E0.5:從重建到未來預測的機器人世界-動作建模三維基礎模型
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

世界-動作模型(WAM)被視為實現具身智慧的一條有前景的路徑,但當前主流方案仍以影片基礎模型或視覺-語言模型為核心。即使引入 VGGT 等三維模型提取的幾何特徵,這些特徵通常也只是作為輔助輸入或預測目標,被送入影片模型或 VLM 主幹,三維幾何並未成為世界建模的原生基礎。X-Era AI Lab 團隊(Jianhao Lai 等 26 位作者)提出的 E0.5 試圖改變這一局面。

E0.5 的核心思路是構建一個幾何原生的世界-動作模型,直接建立在三維基礎模型之上。它有兩項關鍵創新。第一,模型採用三維基礎模型作為主幹預訓練框架,使三維幾何成為世界建模和動作預測共同的原生表示,而非外掛的輔助資訊。第二,模型在預測動作的同時顯式預測未來的三維狀態,從而能夠學習幾何層面的世界動態,這超越了僅做動作建模或僅做未來影片預測的正規化。

實驗首先在 RoboTwin 2.0 模擬基準上進行。在不使用任何具身資料預訓練的情況下,E0.5 在乾淨設定下取得 89.90% 的成功率,在隨機化設定下取得 50.09% 的成功率,初步驗證了幾何原生主幹的可行性。

在此基礎上,研究團隊進一步在 AgiBotWorld-Beta 的超過 16 萬條機器人軌跡上對 E0.5 進行具身預訓練,在預訓練的三維基礎模型內部聯合學習機器人動作與未來幾何。這種具身預訓練在真實世界操作任務上帶來了顯著提升:在 AgileX Piper 平臺上平均成功率提高約 15 個百分點,在 Zerith H1 平臺上提高約 7 個百分點。

這些結果表明,幾何原生的基礎模型有潛力獲取機器人互動知識,並將其遷移到物理操作任務中。E0.5 是 VWA 系列世界-動作模型中的一員,體現了這一幾何原生路線。論文於 2026 年 10 月 26 日提交至 arXiv,編號為 arXiv:2610.36011,屬於機器人學(cs.RO)方向,全文約 14 MB。

展開要點與分析

文章情報

工程師進階

要點

  • E0.5 直接以三維基礎模型作為主幹網路,使幾何成為世界建模和動作預測的原生表示,而非輔助輸入。
  • 模型同時預測未來三維狀態與機器人動作,從而捕捉超越動作預測或未來影片預測的幾何世界動態。
  • 在 RoboTwin 2.0 上無具身預訓練即達到 89.90%(乾淨)和 50.09%(隨機化)成功率。
  • 在 AgiBotWorld-Beta 的 16 萬條以上軌跡上預訓練後,AgileX Piper 與 Zerith H1 的真實操作成功率分別提升約 15 和 7 個百分點。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。