跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

ACE-Ego-0:统一第一人称人类与机器人数据用于VLA预训练

文章摘要

ACE-EGO-0 是一个统一的视觉-语言-动作(VLA)预训练框架,通过将第一人称人类视频转换为伪动作轨迹,并结合可靠性感知训练目标,有效利用异构数据源。实验表明,该方法在 RoboCasa GR1 TableTop 和 RoboTwin 2.0 上达到最先进性能,并展现出强大的真实世界双臂操作迁移能力。

来源arXiv Robotics作者: Hao Li, Ganlong Zhao, Yufei Liu, Haotian Hou, Guoquan Ye, Tongyan Fang, Chunxiao Liu, Siyuan Huang, Jianbo Liu, Xiaogang Wang, Hongsheng Li
ACE-Ego-0:统一第一人称人类与机器人数据用于VLA预训练
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

ACE-Ego-0 是论文作者提出的一种统一的视觉-语言-动作(VLA)模型预训练框架,目标是同时利用异构的具身数据类型,缓解机器人轨迹数据采集成本高、周期长、人力投入大的瓶颈。该论文于 2026 年 6 月 15 日提交至 arXiv,编号为 arXiv:2606.17200v1,归属机器人学(cs.RO)方向,作者为 Hao Li 及另外 10 位合作者,全文约 5.9 MB。

在问题背景上,作者指出 VLA 模型的性能高度依赖大规模、多样化的具身数据。但依靠真实机器人采集轨迹代价高昂,难以快速扩展。近年来的研究显示,大规模第一人称(自我中心视角)人类视频能够为预训练提供互补的真实世界监督信号,从而在一定程度上弥补机器人数据的不足。然而,把人类视频与机器人数据放在一起联合训练并不简单,主要障碍包括动作空间不一致、具身结构差异、时间动态特性不同,以及两类监督信号的质量差异。

针对上述问题,ACE-Ego-0 设计了一条可扩展的“自我中心视频到动作”流水线,将原始人类视频转换为机器人格式的伪动作轨迹,从而从人类视频中提取大规模预训练监督。为了让这些伪标签能够与真实机器人示教数据直接比较和共同训练,框架采用了统一的动作表示,由三部分构成:基于相机空间的动作、形态条件(morphology conditioning),以及时间对齐的动作分块(action chunking)。

在训练目标方面,考虑到人类视频生成的伪动作标签存在噪声,作者提出了可靠性感知(reliability-aware)的训练目标,并引入人类辅助损失,使监督信号更多集中在可靠的片段上,以稳健地利用这类弱监督数据。实验设置上,ACE-Ego-0 使用了 4.53K 小时的机器人与仿真数据,外加 1.48K 小时带伪动作标注的自我中心人类数据。

实验结果表明,在可靠性感知加权下引入大规模人类监督,能够持续改善统一的联合预训练效果,也能提升后续的监督微调表现。ACE-Ego-0 在 RoboCasa GR1 TableTop 和 RoboTwin 2.0 两个基准上取得了当前最优性能,并展现出向真实世界双臂操作任务的良好迁移能力。该工作为在 VLA 预训练中融合人类视频与机器人数据提供了一套可复用的统一方案,其核心贡献在于动作表示的统一、伪动作数据的规模化生成,以及对噪声监督的可靠性建模。

展开要点与分析

文章情报

工程师进阶

要点

  • 提出可扩展的第一人称视频到动作流水线,将原始人类视频转换为机器人格式的伪动作轨迹。
  • 使用基于相机空间动作、形态条件和时间对齐动作块的统一动作表示,使人类标签与机器人演示可比。
  • 设计可靠性感知训练目标,通过人类辅助损失专注于可靠信号,以稳健利用噪声伪动作监督。
  • 在 4.53K 小时机器人/仿真数据和 1.48K 小时伪动作标记的第一人称人类数据上实例化,并在多个基准上取得最先进结果。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。