近年来,随着虚拟现实(VR)和增强现实(AR)头戴设备的普及,从多摄像头系统中追踪3D人体运动成为一个重要且具有挑战性的研究课题。尤其是在以自我为中心的视角中,设备佩戴者的剧烈运动、部分可见性、遮挡以及训练数据的缺乏,使得现有方法难以直接应用。传统的单目视频人体追踪方法通常假设摄像头静止或缓慢移动,无法有效利用多视角、校准和定位信息,因此在动态场景中容易失效。
针对这一难题,来自Meta的研究团队提出了LAMP(Localization Aware Multi-camera People Tracking)框架。LAMP的核心创新在于早期解耦观察者(设备佩戴者)和目标的运动,从而简化问题。该方法分为两个步骤:首先,利用已知的设备6自由度(6DoF)运动轨迹和摄像头校准参数,将一段时窗内所有摄像头检测到的2D人体关键点转换到统一的世界坐标系中,形成一组3D射线云;其次,通过一个端到端训练的时空变换器(spatio-temporal transformer)直接对这组3D射线云进行人体运动拟合。这种“提升-然后拟合”(lift-then-fit)的设计使LAMP能够学习并利用世界空间中的自然人体运动先验,同时灵活地整合多个非同步、部分观察且移动的摄像头信息。
实验结果表明,LAMP在标准单目人体追踪基准测试中达到了最先进水平,并在其针对的自我中心多摄像头设置中大幅超越了现有基线方法。该论文已被计算机视觉顶级会议CVPR 2026接收,相关项目页面和代码已公开。LAMP为多摄像头人体追踪提供了一个简单而有效的解决方案,有望推动VR/AR中的人机交互、动作捕捉等应用的发展。