跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

E0.5:从重建到未来预测的机器人世界-动作建模三维基础模型

文章摘要

E0.5 是一种以三维基础模型为主干的世界-动作模型,将三维几何作为世界建模与动作预测的原生表示,并显式预测未来三维状态。在 RoboTwin 2.0 上,未使用具身数据预训练即取得 89.90% 和 50.09% 的成功率;在 AgiBotWorld-Beta 的 16 万条以上机器人轨迹上预训练后,在 AgileX Piper 和 Zerith H1 上的真实操作成功率分别提升约 15 和 7 个百分点。

来源arXiv Robotics作者: Era AI Lab Team, Jianhao Lai, Zhihao Zhan, Zhiquan Liao, Qichang Li, Shubin Chen, Zhiyuan Liu, Hongsen Lei, Jianman Lin, Xiaoxin Lin, Ke Gong, Baiyue Gu, Shiming Chen, Junlin He, Longqi Yang, Junrong Xiao, Haolin Luo, Xiaojuan Su, Jianfeng Li, Yu Luo, Xu Sun, Likui Zhang, Jusheng Zhang, Qinhan Lyu, Tianshui Chen, Liang Lin, Guangrun Wang
E0.5:从重建到未来预测的机器人世界-动作建模三维基础模型
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

世界-动作模型(WAM)被视为实现具身智能的一条有前景的路径,但当前主流方案仍以视频基础模型或视觉-语言模型为核心。即使引入 VGGT 等三维模型提取的几何特征,这些特征通常也只是作为辅助输入或预测目标,被送入视频模型或 VLM 主干,三维几何并未成为世界建模的原生基础。X-Era AI Lab 团队(Jianhao Lai 等 26 位作者)提出的 E0.5 试图改变这一局面。

E0.5 的核心思路是构建一个几何原生的世界-动作模型,直接建立在三维基础模型之上。它有两项关键创新。第一,模型采用三维基础模型作为主干预训练框架,使三维几何成为世界建模和动作预测共同的原生表示,而非外挂的辅助信息。第二,模型在预测动作的同时显式预测未来的三维状态,从而能够学习几何层面的世界动态,这超越了仅做动作建模或仅做未来视频预测的范式。

实验首先在 RoboTwin 2.0 仿真基准上进行。在不使用任何具身数据预训练的情况下,E0.5 在干净设置下取得 89.90% 的成功率,在随机化设置下取得 50.09% 的成功率,初步验证了几何原生主干的可行性。

在此基础上,研究团队进一步在 AgiBotWorld-Beta 的超过 16 万条机器人轨迹上对 E0.5 进行具身预训练,在预训练的三维基础模型内部联合学习机器人动作与未来几何。这种具身预训练在真实世界操作任务上带来了显著提升:在 AgileX Piper 平台上平均成功率提高约 15 个百分点,在 Zerith H1 平台上提高约 7 个百分点。

这些结果表明,几何原生的基础模型有潜力获取机器人交互知识,并将其迁移到物理操作任务中。E0.5 是 VWA 系列世界-动作模型中的一员,体现了这一几何原生路线。论文于 2026 年 10 月 26 日提交至 arXiv,编号为 arXiv:2610.36011,属于机器人学(cs.RO)方向,全文约 14 MB。

展开要点与分析

文章情报

工程师进阶

要点

  • E0.5 直接以三维基础模型作为主干网络,使几何成为世界建模和动作预测的原生表示,而非辅助输入。
  • 模型同时预测未来三维状态与机器人动作,从而捕捉超越动作预测或未来视频预测的几何世界动态。
  • 在 RoboTwin 2.0 上无具身预训练即达到 89.90%(干净)和 50.09%(随机化)成功率。
  • 在 AgiBotWorld-Beta 的 16 万条以上轨迹上预训练后,AgileX Piper 与 Zerith H1 的真实操作成功率分别提升约 15 和 7 个百分点。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。

E0.5:从重建到未来预测的机器人世界-动作建模三维基础模型 | AI News Hub