EgoTraj：用於多模態預測的真實世界自我中心人類軌跡資料集

人類軌跡預測在人形機器人、可穿戴感測系統和輔助導航等應用中扮演著關鍵角色，但自我中心視角下的軌跡預測因缺乏真實世界資料集而進展受阻。為彌補這一空白，研究團隊推出了EgoTraj，一個使用Meta Quest Pro（MQPro）記錄的真實世界自我中心多模態開放資料集。Meta Quest Pro是一款先進的混合現實頭顯，整合了高精度眼動追蹤和六自由度頭部追蹤功能，能夠在自然行走過程中持續採集資料。EgoTraj由75個導航序列組成，由多位MQPro佩戴者在真實的城市環境中採集，涵蓋街道、公園、廣場等多種場景。每個記錄都提供同步的RGB影片，以及連續時間同步的6自由度頭部姿勢、每幀3D眼動向量和詳細的場景註釋。與現有資料集相比，EgoTraj的獨特之處在於它捕捉了長期、自主的導航行為，參與者年齡、性別和行走習慣各不相同，資料呈現出高度的多樣性。為驗證資料集的實用性，研究團隊對多種最先進的自我中心軌跡預測方法進行了基準測試，包括基於迴圈神經網路和Transformer架構的模型，並進行了消融研究以分析眼動、場景和運動線索的貢獻。實驗結果表明，結合眼動和場景資訊能夠顯著提升預測精度，尤其在複雜交叉路口和人群密集區域。EgoTraj在基於增強現實的感知、導航和輔助系統方面展現出重要潛力，例如幫助視障人士規劃安全路徑或為機器人提供精確的移動預測。該資料集、相關程式碼以及EgoViz Dashboard已在GitHub上公開，預計將極大推動自我中心視覺和人類行為理解領域的發展，為更智慧的人機互動提供堅實的資料基礎。