跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

EgoTraj:用于多模态预测的真实世界自我中心人体轨迹数据集

文章摘要

研究人员发布了EgoTraj,这是一个使用Meta Quest Pro在真实城市环境中采集的自我中心多模态数据集,包含75段导航序列,同步提供RGB视频、6自由度头部姿态、逐帧3D视线向量和场景标注。该数据集旨在推动人形机器人、可穿戴传感和辅助导航等领域的轨迹预测研究,并提供了基准测试和EgoViz仪表板。

来源arXiv Computer Vision作者: Ahmad Yehia, Abduallah Mohamed, Tianyi Wang, Jiseop Byeon, Kun Qian, Junfeng Jiao, Christian Claudel
EgoTraj:用于多模态预测的真实世界自我中心人体轨迹数据集
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

EgoTraj 是一个以第一人称视角(egocentric)采集的多模态开放数据集,由 Ahmad Yehia 等七位作者共同完成,论文于 2026 年 5 月 18 日提交至 arXiv,编号为 arXiv:2605.19004v1,归类于计算机视觉与模式识别(cs.CV),同时涉及机器学习(cs.LG)与机器人学(cs.RO),ACM 分类号为 I.2.10、I.4.8 与 I.5.4。论文共 21 页、含 14 幅图,并提供项目主页与配套代码仓库。

研究的出发点在于:从第一人称视角准确预测人类未来的行进轨迹,对人形机器人、可穿戴传感系统以及辅助导航等应用具有核心意义。然而这一方向长期受制于真实世界环境中采集的第一人称轨迹数据极为稀缺,导致相关方法难以获得充分的训练与评测基础。为填补这一空白,作者构建了 EgoTraj 数据集。

在数据采集上,EgoTraj 使用 Meta Quest Pro(MQPro)头显完成记录,共包含 75 段人类导航序列,采集自多名佩戴 MQPro 的参与者,场景均为真实城市环境。每段记录都提供同步的 RGB 视频以及一系列真值数据,包括连续且时间同步的六自由度(6-DoF)头部位姿、逐帧的三维视线向量(eye gaze),以及场景标注信息。这些模态在时间上严格对齐,使研究者能够同时利用视觉、运动与注视线索开展多模态建模。

作者强调,据其所知,EgoTraj 与典型的第一人称轨迹数据集存在明显差异:它侧重于长时程(long-horizon)、自主导向的导航行为,覆盖多样化的城市路线,并且参与者群体具有较广的多样性。这种设计使数据更贴近真实使用场景,也更适合评估模型在复杂、开放环境中的泛化能力。

为验证数据集的价值,论文对多种当前先进的第一人称轨迹预测方法进行了基准测试,并开展消融实验,分别分析视线、场景与运动线索对预测性能的贡献。实验结果表明,EgoTraj 对基于增强现实(AR)的感知、导航与辅助系统具有实用价值。

在开放程度上,EgoTraj 数据集、相关代码以及 EgoViz Dashboard 可视化面板均已公开,托管于 GitHub 仓库 https://github.com/yehiahmad/EgoTraj,便于社区复现与后续研究。论文还给出了 DOI 链接(https://doi.org/10.48550/arXiv.2605.19004),该 DOI 由 DataCite 颁发,尚处于注册待定状态;提交历史显示 v1 版本于 2026 年 5 月 18 日 18:26:51 UTC 上传,文件体积约 44,620 KB。总体而言,该工作通过提供大规模、多模态、真实场景的第一人称轨迹数据,为可穿戴感知与具身智能研究提供了新的公共基础设施。

展开要点与分析

文章情报

工程师进阶

要点

  • EgoTraj包含75段由多名Meta Quest Pro佩戴者在真实城市环境中采集的导航序列。
  • 每段记录同步提供RGB视频、连续时间同步的6自由度头部姿态、逐帧3D视线向量和场景标注。
  • 数据集支持自我中心轨迹预测的基准测试,并通过消融实验分析视线、场景和运动线索的贡献。
  • 数据、代码和EgoViz仪表板已在GitHub上公开。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。