在人工智慧領域,具身智慧的進步越來越依賴於可擴充套件的資料基礎設施。儘管視覺和語言領域已經透過網際網路語料庫實現了規模化,但物理互動的學習仍然受到缺乏大規模、多樣化且豐富標註的人類活動資料的限制。針對這一挑戰,研究團隊提出了 HumanNet——一個一百萬小時的人類中心影片語料庫,旨在大規模捕捉人類與物理世界的互動方式。
HumanNet 覆蓋了第一人稱和第三人稱視角,包含細粒度活動、人類與物體互動、工具使用以及長期行為,這些記錄來自多樣化的真實世界環境。除了原始影片,該資料集還提供了互動中心的標註,包括字幕、動作描述以及手部和身體相關訊號,從而支援運動感知和互動感知的學習。
在規模之外,HumanNet 引入了用於具身學習的系統性資料策展正規化,將人類中心過濾、時間結構、視角多樣性和標註豐富性作為一級設計原則。這種設計將非結構化網際網路影片轉化為可擴充套件的基材,用於表示學習、活動理解、運動生成以及人類到機器人的遷移。
為了驗證該設計的價值,研究團隊透過受控的視覺-語言-動作消融實驗進行了初步驗證。在固定驗證資料集下,使用來自 HumanNet 的1000小時自我中心影片對 Qwen VLM 模型進行持續訓練,其表現超過了使用 Magic Cobot 的100小時真實機器人資料進行持續訓練的結果。這表明,自我中心人類影片可以作為機器人資料的可擴充套件且經濟高效的替代方案。
透過構建 HumanNet 專案,研究人員旨在探索利用人類中心影片而非僅依賴機器人特定資料來擴充套件具身基礎模型的機會。這一工作為未來具身智慧研究提供了一條新的規模化路徑。