在人工智能领域,具身智能的进步越来越依赖于可扩展的数据基础设施。尽管视觉和语言领域已经通过互联网语料库实现了规模化,但物理交互的学习仍然受到缺乏大规模、多样化且丰富标注的人类活动数据的限制。针对这一挑战,研究团队提出了 HumanNet——一个一百万小时的人类中心视频语料库,旨在大规模捕捉人类与物理世界的交互方式。
HumanNet 覆盖了第一人称和第三人称视角,包含细粒度活动、人类与物体交互、工具使用以及长期行为,这些记录来自多样化的真实世界环境。除了原始视频,该数据集还提供了交互中心的标注,包括字幕、动作描述以及手部和身体相关信号,从而支持运动感知和交互感知的学习。
在规模之外,HumanNet 引入了用于具身学习的系统性数据策展范式,将人类中心过滤、时间结构、视角多样性和标注丰富性作为一级设计原则。这种设计将非结构化互联网视频转化为可扩展的基材,用于表示学习、活动理解、运动生成以及人类到机器人的迁移。
为了验证该设计的价值,研究团队通过受控的视觉-语言-动作消融实验进行了初步验证。在固定验证数据集下,使用来自 HumanNet 的1000小时自我中心视频对 Qwen VLM 模型进行持续训练,其表现超过了使用 Magic Cobot 的100小时真实机器人数据进行持续训练的结果。这表明,自我中心人类视频可以作为机器人数据的可扩展且经济高效的替代方案。
通过构建 HumanNet 项目,研究人员旨在探索利用人类中心视频而非仅依赖机器人特定数据来扩展具身基础模型的机会。这一工作为未来具身智能研究提供了一条新的规模化路径。