Open-AoE：身体性知能のためのオープンな自己中心的操作データセットとツールチェーン
Open-AoEは、500人以上の貢献者が400台以上のスマートフォンを使用して収集した約2000時間の自己中心的操作ビデオを含む大規模データセットであり、テキスト注釈、手の姿勢、カメラ軌跡、原子動作などの構造化注釈と、身体性学習のためのツールチェーンを提供する。
Open-AoE：身体性知能のためのオープンな自己中心的操作データセットとツールチェーン
研究者チームは最近、スマートフォンによる収集からモデル訓練までをカバーする、身体性知能のためのオープンな自己中心的操作データセットとツールチェーン「Open-AoE」を発表しました。初回リリースには、500人以上の貢献者が400台以上のスマートフォンを使用して自然環境で収集した約2000時間の自己中心的操作ビデオが含まれており、既存のリソースを大幅に上回る規模です。この大規模なデータ収集は、コミュニティの参加と低コストデバイスの活用によって実現され、身体知能研究に豊富なトレーニング素材を提供します。
データセットには、テキスト注釈、MANOベースの手姿勢、カメラ軌跡、時間的に局所化された原子動作など、多層的な構造化注釈が含まれています。これらの注釈は人間の操作行動を理解するための重要な情報を提供します。生のビデオを訓練可能なサンプルに変換するために、Open-AoEは時間行動分割、意味注釈、手再構成、カメラ軌跡再構成を含むデータ処理パイプラインを設計しました。これにより、データの一貫性と有用性が確保されます。
データセットに加えて、研究チームは強力な下流ツールチェーンも開発しました。このツールチェーンは、可視化、異なるロボット形態への人間操作のマッピング（跨身体性リターゲティング）、特定モデル向けのデータ変換、視覚-言語-行動ポリシー（VLA）、ワールドモデル、WAMのための訓練レシピをサポートします。収集、処理、適応を統合することで、Open-AoEはデータ貢献と再利用の障壁を大幅に低減し、身体性モデル訓練、人間からロボットへの転移、世界モデリングのための実用的なオープンインフラを提供します。
Open-AoEのオープンソース性はコミュニティによるさらなるデータ貢献を奨励し、データセットの規模とカバレッジを継続的に拡大することが期待されます。このプロジェクトは、特にロボット学習や人間とロボットのインタラクションの分野において、身体知能研究の急速な発展を促進するでしょう。