近年、仮想現実（VR）や拡張現実（AR）デバイスの普及に伴い、自己中心型マルチカメラヘッドセットからの3D人体動作追跡が重要な課題となっています。しかし、激しい自己運動、部分的な視認性や遮蔽、トレーニングデータの不足により、このタスクは大きな困難を伴います。既存の単眼ビデオ向け手法は、カメラが静止またはゆっくり動くことを前提としており、多視点、キャリブレーション、位置情報を効率的に活用できません。そのため、動的な自己中心型キャプチャでは脆弱で失敗しやすいという問題がありました。
この問題に対処するため、Metaの研究チームはLAMP（Localization Aware Multi-camera People Tracking）フレームワークを提案しました。LAMPの核心は、観測者とターゲットの動作を早期に分離することにあります。この手法は2段階のプロセスを導入します。まず、既知のデバイス6自由度（6DoF）動作とキャリブレーションを利用して、時間ウィンドウ内の全カメラから検出された2Dボディキーポイントを統一された3D世界参照フレームに変換し、3Dレイクラウドを生成します。次に、エンドツーエンドで訓練された時空間トランスフォーマーがこの3Dレイクラウドに直接3D人体動作をフィッティングします。この「リフト・アンド・フィット」アプローチにより、LAMPはワールド空間における自然な人体動作の事前知識を学習・活用でき、複数の時間的非同期、部分的観測、移動カメラからの情報を柔軟に統合するエレガントなフレームワークを提供します。
実験結果は、LAMPが単眼ベンチマークで最先端の成果を達成し、特に自己中心的な設定でベースラインを大幅に上回ることを示しています。本論文はCVPR 2026に採択され、プロジェクトページも公開されています。LAMPはマルチカメラ人物追跡分野にシンプルかつ効果的な解決策を提供し、VR/ARアプリケーションにおける人間とコンピュータのインタラクションの発展に貢献することが期待されます。