跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

HumanNet:将人类中心视频学习扩展到一百万小时

文章摘要

HumanNet 是一个一百万小时的人类中心视频语料库,涵盖第一人称和第三人称视角,包含细粒度活动、人机交互、工具使用和长期行为。该数据集提供交互中心注释,包括字幕、动作描述以及手部和身体相关信号,支持运动感知和交互感知学习。通过系统性数据策展范式,HumanNet 将非结构化互联网视频转化为可扩展的表示学习、活动理解、运动生成和人类到机器人迁移的基础。初步验证表明,使用 HumanNet 中的1000小时自我中心视频对 Qwen VLM 模型进行持续训练,优于使用 Magic Cobot 的100小时真实机器人数据,表明人类视频可作为机器人数据的可扩展且经济高效的替代方案。

来源arXiv Computer Vision作者: Yufan Deng, Daquan Zhou
HumanNet:将人类中心视频学习扩展到一百万小时
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

在人工智能领域,具身智能的进步越来越依赖于可扩展的数据基础设施。尽管视觉和语言领域已经通过互联网语料库实现了规模化,但物理交互的学习仍然受到缺乏大规模、多样化且丰富标注的人类活动数据的限制。针对这一挑战,研究团队提出了 HumanNet——一个一百万小时的人类中心视频语料库,旨在大规模捕捉人类与物理世界的交互方式。

HumanNet 覆盖了第一人称和第三人称视角,包含细粒度活动、人类与物体交互、工具使用以及长期行为,这些记录来自多样化的真实世界环境。除了原始视频,该数据集还提供了交互中心的标注,包括字幕、动作描述以及手部和身体相关信号,从而支持运动感知和交互感知的学习。

在规模之外,HumanNet 引入了用于具身学习的系统性数据策展范式,将人类中心过滤、时间结构、视角多样性和标注丰富性作为一级设计原则。这种设计将非结构化互联网视频转化为可扩展的基材,用于表示学习、活动理解、运动生成以及人类到机器人的迁移。

为了验证该设计的价值,研究团队通过受控的视觉-语言-动作消融实验进行了初步验证。在固定验证数据集下,使用来自 HumanNet 的1000小时自我中心视频对 Qwen VLM 模型进行持续训练,其表现超过了使用 Magic Cobot 的100小时真实机器人数据进行持续训练的结果。这表明,自我中心人类视频可以作为机器人数据的可扩展且经济高效的替代方案。

通过构建 HumanNet 项目,研究人员旨在探索利用人类中心视频而非仅依赖机器人特定数据来扩展具身基础模型的机会。这一工作为未来具身智能研究提供了一条新的规模化路径。

展开要点与分析

文章情报

工程师进阶

要点

  • HumanNet 是一个一百万小时的人类中心视频数据集,涵盖多样化的真实世界环境和视角。
  • 提供丰富的交互中心注释,支持运动和交互感知学习。
  • 引入系统性的数据策展范式,将非结构化视频转化为可扩展的机器人学习基础。
  • 实验表明,自我中心人类视频在训练中可替代真实机器人数据,并取得更优效果。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。