人工知能の分野では、具現化知能の進歩がスケーラブルなデータインフラにますます依存しています。視覚と言語はインターネットコーパスによってスケールしてきましたが、物理的インタラクションの学習は、大規模で多様かつ豊富にアノテーションされた人間活動データの不足により制約されています。この課題に対処するため、研究チームはHumanNetを提案しました。これは100万時間の人間中心ビデオコーパスであり、人間が物理世界とどのようにインタラクションするかを大規模に捉えることを目的としています。
HumanNetは、一人称視点と三人称視点の両方をカバーし、細かな活動、人と物体のインタラクション、道具の使用、長期的な行動を多様な実世界環境で記録しています。生のビデオに加えて、このデータセットはキャプション、動作記述、手や体に関する信号などのインタラクション中心のアノテーションを提供し、動作認識とインタラクション認識の学習を可能にします。
規模に加えて、HumanNetは具現化学習のための体系的なデータキュレーションパラダイムを導入しています。人間中心フィルタリング、時間構造化、視点多様性、アノテーション充実を第一級の設計原則として扱います。この設計により、非構造化インターネットビデオを表現学習、活動理解、動作生成、人間からロボットへの転移のためのスケーラブルな基盤に変換します。
この設計の価値を検証するため、研究チームは制御されたビジョン・言語・行動のアブレーション実験を行いました。固定された検証データセットの下で、HumanNetから抽出した1000時間の一人称視点ビデオを用いてQwen VLMモデルを継続学習した結果、Magic Cobotの100時間の実ロボットデータを用いた継続学習を上回りました。これは、一人称視点の人間ビデオがロボットデータのスケーラブルで費用対効果の高い代替手段となり得ることを示しています。
HumanNetプロジェクトを構築することで、研究者らはロボット固有のデータに頼るのではなく、人間中心のビデオを用いて具現化基盤モデルをスケールする機会を探求することを目指しています。この研究は、将来の具現化知能研究に新たなスケーリングの道筋を提供します。