ACE-Ego-0 是论文作者提出的一种统一的视觉-语言-动作(VLA)模型预训练框架,目标是同时利用异构的具身数据类型,缓解机器人轨迹数据采集成本高、周期长、人力投入大的瓶颈。该论文于 2026 年 6 月 15 日提交至 arXiv,编号为 arXiv:2606.17200v1,归属机器人学(cs.RO)方向,作者为 Hao Li 及另外 10 位合作者,全文约 5.9 MB。
在问题背景上,作者指出 VLA 模型的性能高度依赖大规模、多样化的具身数据。但依靠真实机器人采集轨迹代价高昂,难以快速扩展。近年来的研究显示,大规模第一人称(自我中心视角)人类视频能够为预训练提供互补的真实世界监督信号,从而在一定程度上弥补机器人数据的不足。然而,把人类视频与机器人数据放在一起联合训练并不简单,主要障碍包括动作空间不一致、具身结构差异、时间动态特性不同,以及两类监督信号的质量差异。
针对上述问题,ACE-Ego-0 设计了一条可扩展的“自我中心视频到动作”流水线,将原始人类视频转换为机器人格式的伪动作轨迹,从而从人类视频中提取大规模预训练监督。为了让这些伪标签能够与真实机器人示教数据直接比较和共同训练,框架采用了统一的动作表示,由三部分构成:基于相机空间的动作、形态条件(morphology conditioning),以及时间对齐的动作分块(action chunking)。
在训练目标方面,考虑到人类视频生成的伪动作标签存在噪声,作者提出了可靠性感知(reliability-aware)的训练目标,并引入人类辅助损失,使监督信号更多集中在可靠的片段上,以稳健地利用这类弱监督数据。实验设置上,ACE-Ego-0 使用了 4.53K 小时的机器人与仿真数据,外加 1.48K 小时带伪动作标注的自我中心人类数据。
实验结果表明,在可靠性感知加权下引入大规模人类监督,能够持续改善统一的联合预训练效果,也能提升后续的监督微调表现。ACE-Ego-0 在 RoboCasa GR1 TableTop 和 RoboTwin 2.0 两个基准上取得了当前最优性能,并展现出向真实世界双臂操作任务的良好迁移能力。该工作为在 VLA 预训练中融合人类视频与机器人数据提供了一套可复用的统一方案,其核心贡献在于动作表示的统一、伪动作数据的规模化生成,以及对噪声监督的可靠性建模。