跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

LAMP:度量3D世界中基于定位感知的多摄像机人体追踪

文章摘要

LAMP是一种新颖的框架,用于从以自我为中心的多摄像头头戴设备中追踪3D人体运动。它通过先利用设备6自由度运动和校准将2D关键点提升到统一的3D世界参考系,然后使用时空变换器拟合3D运动,从而解耦观察者和目标运动。在单目基准测试中达到最先进水平,并在以自我为中心的动态场景中显著优于现有基线方法。

来源arXiv Computer Vision作者: Nan Yang, Julian Straub, Fan Zhang, Richard Newcombe, Jakob Engel, Lingni Ma
LAMP:度量3D世界中基于定位感知的多摄像机人体追踪
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

近年来,随着虚拟现实(VR)和增强现实(AR)头戴设备的普及,从多摄像头系统中追踪3D人体运动成为一个重要且具有挑战性的研究课题。尤其是在以自我为中心的视角中,设备佩戴者的剧烈运动、部分可见性、遮挡以及训练数据的缺乏,使得现有方法难以直接应用。传统的单目视频人体追踪方法通常假设摄像头静止或缓慢移动,无法有效利用多视角、校准和定位信息,因此在动态场景中容易失效。

针对这一难题,来自Meta的研究团队提出了LAMP(Localization Aware Multi-camera People Tracking)框架。LAMP的核心创新在于早期解耦观察者(设备佩戴者)和目标的运动,从而简化问题。该方法分为两个步骤:首先,利用已知的设备6自由度(6DoF)运动轨迹和摄像头校准参数,将一段时窗内所有摄像头检测到的2D人体关键点转换到统一的世界坐标系中,形成一组3D射线云;其次,通过一个端到端训练的时空变换器(spatio-temporal transformer)直接对这组3D射线云进行人体运动拟合。这种“提升-然后拟合”(lift-then-fit)的设计使LAMP能够学习并利用世界空间中的自然人体运动先验,同时灵活地整合多个非同步、部分观察且移动的摄像头信息。

实验结果表明,LAMP在标准单目人体追踪基准测试中达到了最先进水平,并在其针对的自我中心多摄像头设置中大幅超越了现有基线方法。该论文已被计算机视觉顶级会议CVPR 2026接收,相关项目页面和代码已公开。LAMP为多摄像头人体追踪提供了一个简单而有效的解决方案,有望推动VR/AR中的人机交互、动作捕捉等应用的发展。

展开要点与分析

文章情报

研究者进阶

要点

  • LAMP通过提升-拟合方法解耦观察者和目标运动,有效应对严重自我运动和多视角挑战。
  • 利用设备6自由度运动和校准,将时间窗口内所有摄像头的2D关键点转换为统一的3D射线云。
  • 采用端到端训练的时空变换器直接拟合3D人体运动,学习世界空间中的自然运动先验。
  • 在单目基准测试中达到最先进性能,在自拍式多摄像头追踪中大幅超越基线。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。