EgoTraj：マルチモーダル予測のための実世界の自己中心的人間軌跡データセット
研究者らは、Meta Quest Proで記録された自己中心的マルチモーダルデータセットEgoTrajを発表。実世界の都市環境で75のナビゲーションシーケンスを含み、同期RGBビデオ、ヘッドポーズ、アイゲイズ、シーンアノテーションを提供。ヒューマノイドロボティクス、ウェアラブルセンシング、アシスティブナビゲーションにおける軌跡予測の進展を目的とし、最先端手法のベンチマークを実施。
記事インテリジェンス
要点
- EgoTrajは、Meta Quest Proを使用して実世界の都市環境でキャプチャされた最初の自己中心的マルチモーダル人間軌跡データセット。
- 75のシーケンスを含み、同期RGBビデオ、6自由度ヘッドポーズ、3Dアイゲイズベクトル、シーンアノテーションを提供。
- 長期的で自己主導的なナビゲーションを多様な参加者で捉え、既存データセットと一線を画す。
- ベンチマーク結果は、ARベースの知覚、ナビゲーション、支援システムにおけるEgoTrajの有用性を示す。
重要な理由
このニュースが重要なのは、EgoTrajは、Meta Quest Proを使用して実世界の都市環境でキャプチャされた最初の自己中心的マルチモーダル人間軌跡データセットためです。
技術的影響
モデル選定、推論コスト、プロダクト能力、評価基準に影響する可能性があります。
人間の軌跡予測は、ヒューマノイドロボティクス、ウェアラブルセンシングシステム、アシスティブナビゲーションなどのアプリケーションにおいて中心的な役割を果たします。しかし、自己中心的な視点からの軌跡予測は、実世界環境で収集されたデータセットの不足により進展が限られていました。このニーズに応えるため、研究チームはMeta Quest Pro（MQPro）を使用して記録された自己中心的マルチモーダルオープンデータセット「EgoTraj」を導入しました。MQProは、高精度なアイトラッキングと6自由度ヘッドトラッキングを統合した先進的な複合現実ヘッドセットであり、自然な歩行中のデータ収集を可能にします。EgoTrajは、複数のMQPro装着者が実世界の都市環境（街路、公園、広場など）で収集した75の人間ナビゲーションシーケンスを含みます。各記録は同期されたRGBビデオとともに、連続的な時間同期6自由度ヘッドポーズ、フレームごとの3Dアイゲイズベクトル、シーンアノテーションなどのグラウンドトゥルースデータを提供します。既存のデータセットと異なり、EgoTrajは長期的で自己主導的なナビゲーションを捉え、参加者の年齢、性別、歩行習慣は多様であり、データの豊かなバリエーションを実現しています。データセットの可能性を示すため、研究チームはリカレントニューラルネットワークやTransformerアーキテクチャに基づく最先端の自己中心的軌跡予測手法をベンチマークし、視線、シーン、運動手がかりの寄与を分析するアブレーション研究を実施しました。実験結果は、視線とシーン情報を組み合わせることで予測精度が大幅に向上することを示し、特に複雑な交差点や混雑したエリアで効果が顕著でした。EgoTrajは、拡張現実ベースの知覚、ナビゲーション、支援システムにおいて重要な可能性を示しており、例えば視覚障害者の安全な経路計画やロボットの正確な移動予測に貢献できます。EgoTrajデータセット、コード、EgoVizダッシュボードはGitHubで公開されており、自己中心視覚と人間行動理解の分野を促進し、よりスマートな人機インタラクションのためのデータ基盤を提供することが期待されます。