Open-AoE：面向具身學習的開放自我中心運算元據集與工具鏈
Open-AoE是一個大規模自我中心運算元據集，包含來自500多名貢獻者使用400多部智慧手機收集的約2000小時影片，提供文本註釋、手部姿勢、相機軌跡和原子動作標註，並配備資料處理和下游工具鏈，旨在降低具身模型訓練、人機遷移和世界建模的障礙。
Open-AoE：面向具身學習的開放自我中心運算元據集與工具鏈
近日，來自多所研究機構的團隊聯合釋出了Open-AoE，這是一個面向具身學習的開源自我中心運算元據集與配套工具鏈，覆蓋從智慧手機採集到模型訓練的完整流程。該資料集的第一個版本包含了約2000小時的自我中心操作影片，這些影片由500多名貢獻者使用400多部智慧手機在自然環境中拍攝，規模遠超現有的同類資源。如此大規模的採集得益於社群參與和低成本裝置的使用，為具身智慧研究提供了豐富的訓練素材。
資料集提供了多層次的結構化註釋。除了文本描述外，還包含了基於MANO模型的手部姿勢、相機軌跡以及時間上細粒度的原子動作標註。這些資訊對於理解人類操作的精細過程至關重要。為了將原始影片轉化為可直接用於訓練的樣本，Open-AoE設計了一套資料處理管道，包括時間動作分割、語義標註、手部重建和相機軌跡重建等步驟。這些處理確保了資料的一致性和可用性。
除了資料集本身，研究團隊還開發了強大的下游工具鏈。該工具鏈支援視覺化、跨具身重定向（將人類操作對映到不同機器人形態）、針對不同模型的資料轉換，以及面向視覺-語言-動作策略（VLA）、世界模型和WAM的訓練方案。透過整合採集、處理和適配，Open-AoE顯著降低了資料貢獻和複用的門檻，為具身模型訓練、人機遷移和世界建模提供了實用的開放基礎設施。
Open-AoE的開源性質鼓勵社群進一步貢獻資料，從而不斷擴充套件資料集的規模和覆蓋範圍。這一專案有望推動具身智慧研究的快速發展，尤其是在機器人學習和人機互動領域。