Open-AoE：面向具身學習的開放自我中心操作數據集與工具鏈
Open-AoE是一個大規模自我中心操作數據集，包含來自500多名貢獻者使用400多部智能手機收集的約2000小時視頻，提供文本註釋、手部姿勢、相機軌跡和原子動作標註，並配備數據處理和下游工具鏈，旨在降低具身模型訓練、人機遷移和世界建模的障礙。
Open-AoE：面向具身學習的開放自我中心操作數據集與工具鏈
近日，來自多所研究機構的團隊聯合發佈了Open-AoE，這是一個面向具身學習的開源自我中心操作數據集與配套工具鏈，覆蓋從智能手機採集到模型訓練的完整流程。該數據集的第一個版本包含了約2000小時的自我中心操作視頻，這些視頻由500多名貢獻者使用400多部智能手機在自然環境中拍攝，規模遠超現有的同類資源。如此大規模的採集得益於社區參與和低成本設備的使用，為具身智能研究提供了豐富的訓練素材。
數據集提供了多層次的結構化註釋。除了文本描述外，還包含了基於MANO模型的手部姿勢、相機軌跡以及時間上細粒度的原子動作標註。這些信息對於理解人類操作的精細過程至關重要。為了將原始視頻轉化為可直接用於訓練的樣本，Open-AoE設計了一套數據處理管道，包括時間動作分割、語義標註、手部重建和相機軌跡重建等步驟。這些處理確保了數據的一致性和可用性。
除了數據集本身，研究團隊還開發了強大的下游工具鏈。該工具鏈支持可視化、跨具身重定向（將人類操作映射到不同機器人形態）、針對不同模型的數據轉換，以及面向視覺-語言-動作策略（VLA）、世界模型和WAM的訓練方案。通過整合採集、處理和適配，Open-AoE顯著降低了數據貢獻和複用的門檻，為具身模型訓練、人機遷移和世界建模提供了實用的開放基礎設施。
Open-AoE的開源性質鼓勵社區進一步貢獻數據，從而不斷擴展數據集的規模和覆蓋範圍。這一項目有望推動具身智能研究的快速發展，尤其是在機器人學習和人機交互領域。