Open-AoE：面向具身学习的开放自我中心操作数据集与工具链
Open-AoE是一个大规模自我中心操作数据集，包含来自500多名贡献者使用400多部智能手机收集的约2000小时视频，提供文本注释、手部姿势、相机轨迹和原子动作标注，并配备数据处理和下游工具链，旨在降低具身模型训练、人机迁移和世界建模的障碍。
Open-AoE：面向具身学习的开放自我中心操作数据集与工具链
近日，来自多所研究机构的团队联合发布了Open-AoE，这是一个面向具身学习的开源自我中心操作数据集与配套工具链，覆盖从智能手机采集到模型训练的完整流程。该数据集的第一个版本包含了约2000小时的自我中心操作视频，这些视频由500多名贡献者使用400多部智能手机在自然环境中拍摄，规模远超现有的同类资源。如此大规模的采集得益于社区参与和低成本设备的使用，为具身智能研究提供了丰富的训练素材。
数据集提供了多层次的结构化注释。除了文本描述外，还包含了基于MANO模型的手部姿势、相机轨迹以及时间上细粒度的原子动作标注。这些信息对于理解人类操作的精细过程至关重要。为了将原始视频转化为可直接用于训练的样本，Open-AoE设计了一套数据处理管道，包括时间动作分割、语义标注、手部重建和相机轨迹重建等步骤。这些处理确保了数据的一致性和可用性。
除了数据集本身，研究团队还开发了强大的下游工具链。该工具链支持可视化、跨具身重定向（将人类操作映射到不同机器人形态）、针对不同模型的数据转换，以及面向视觉-语言-动作策略（VLA）、世界模型和WAM的训练方案。通过整合采集、处理和适配，Open-AoE显著降低了数据贡献和复用的门槛，为具身模型训练、人机迁移和世界建模提供了实用的开放基础设施。
Open-AoE的开源性质鼓励社区进一步贡献数据，从而不断扩展数据集的规模和覆盖范围。这一项目有望推动具身智能研究的快速发展，尤其是在机器人学习和人机交互领域。