跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

HumanNet:將人類中心影片學習擴充套件到一百萬小時

文章摘要

HumanNet 是一個一百萬小時的人類中心影片語料庫,涵蓋第一人稱和第三人稱視角,包含細粒度活動、人機互動、工具使用和長期行為。該資料集提供互動中心註釋,包括字幕、動作描述以及手部和身體相關訊號,支援運動感知和互動感知學習。透過系統性資料策展正規化,HumanNet 將非結構化網際網路影片轉化為可擴充套件的表示學習、活動理解、運動生成和人類到機器人遷移的基礎。初步驗證表明,使用 HumanNet 中的1000小時自我中心影片對 Qwen VLM 模型進行持續訓練,優於使用 Magic Cobot 的100小時真實機器人資料,表明人類影片可作為機器人資料的可擴充套件且經濟高效的替代方案。

來源arXiv Computer Vision作者: Yufan Deng, Daquan Zhou
HumanNet:將人類中心影片學習擴充套件到一百萬小時
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

在人工智慧領域,具身智慧的進步越來越依賴於可擴充套件的資料基礎設施。儘管視覺和語言領域已經透過網際網路語料庫實現了規模化,但物理互動的學習仍然受到缺乏大規模、多樣化且豐富標註的人類活動資料的限制。針對這一挑戰,研究團隊提出了 HumanNet——一個一百萬小時的人類中心影片語料庫,旨在大規模捕捉人類與物理世界的互動方式。

HumanNet 覆蓋了第一人稱和第三人稱視角,包含細粒度活動、人類與物體互動、工具使用以及長期行為,這些記錄來自多樣化的真實世界環境。除了原始影片,該資料集還提供了互動中心的標註,包括字幕、動作描述以及手部和身體相關訊號,從而支援運動感知和互動感知的學習。

在規模之外,HumanNet 引入了用於具身學習的系統性資料策展正規化,將人類中心過濾、時間結構、視角多樣性和標註豐富性作為一級設計原則。這種設計將非結構化網際網路影片轉化為可擴充套件的基材,用於表示學習、活動理解、運動生成以及人類到機器人的遷移。

為了驗證該設計的價值,研究團隊透過受控的視覺-語言-動作消融實驗進行了初步驗證。在固定驗證資料集下,使用來自 HumanNet 的1000小時自我中心影片對 Qwen VLM 模型進行持續訓練,其表現超過了使用 Magic Cobot 的100小時真實機器人資料進行持續訓練的結果。這表明,自我中心人類影片可以作為機器人資料的可擴充套件且經濟高效的替代方案。

透過構建 HumanNet 專案,研究人員旨在探索利用人類中心影片而非僅依賴機器人特定資料來擴充套件具身基礎模型的機會。這一工作為未來具身智慧研究提供了一條新的規模化路徑。

展開要點與分析

文章情報

工程師進階

要點

  • HumanNet 是一個一百萬小時的人類中心影片資料集,涵蓋多樣化的真實世界環境和視角。
  • 提供豐富的互動中心註釋,支援運動和互動感知學習。
  • 引入系統性的資料策展正規化,將非結構化影片轉化為可擴充套件的機器人學習基礎。
  • 實驗表明,自我中心人類影片在訓練中可替代真實機器人資料,並取得更優效果。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。