跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

LAMP:度量3D世界中基於定位感知的多攝像機人體追蹤

文章摘要

LAMP是一種新穎的框架,用於從以自我為中心的多攝像頭頭戴裝置中追蹤3D人體運動。它透過先利用裝置6自由度運動和校準將2D關鍵點提升到統一的3D世界參考系,然後使用時空變換器擬合3D運動,從而解耦觀察者和目標運動。在單目基準測試中達到最先進水平,並在以自我為中心的動態場景中顯著優於現有基線方法。

來源arXiv Computer Vision作者: Nan Yang, Julian Straub, Fan Zhang, Richard Newcombe, Jakob Engel, Lingni Ma
LAMP:度量3D世界中基於定位感知的多攝像機人體追蹤
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

近年來,隨著虛擬現實(VR)和增強現實(AR)頭戴裝置的普及,從多攝像頭系統中追蹤3D人體運動成為一個重要且具有挑戰性的研究課題。尤其是在以自我為中心的視角中,裝置佩戴者的劇烈運動、部分可見性、遮擋以及訓練資料的缺乏,使得現有方法難以直接應用。傳統的單目影片人體追蹤方法通常假設攝像頭靜止或緩慢移動,無法有效利用多視角、校準和定位資訊,因此在動態場景中容易失效。

針對這一難題,來自Meta的研究團隊提出了LAMP(Localization Aware Multi-camera People Tracking)框架。LAMP的核心創新在於早期解耦觀察者(裝置佩戴者)和目標的運動,從而簡化問題。該方法分為兩個步驟:首先,利用已知的裝置6自由度(6DoF)運動軌跡和攝像頭校準引數,將一段時窗內所有攝像頭檢測到的2D人體關鍵點轉換到統一的世界座標系中,形成一組3D射線雲;其次,透過一個端到端訓練的時空變換器(spatio-temporal transformer)直接對這組3D射線雲進行人體運動擬合。這種“提升-然後擬合”(lift-then-fit)的設計使LAMP能夠學習並利用世界空間中的自然人體運動先驗,同時靈活地整合多個非同步、部分觀察且移動的攝像頭資訊。

實驗結果表明,LAMP在標準單目人體追蹤基準測試中達到了最先進水平,並在其針對的自我中心多攝像頭設定中大幅超越了現有基線方法。該論文已被計算機視覺頂級會議CVPR 2026接收,相關專案頁面和程式碼已公開。LAMP為多攝像頭人體追蹤提供了一個簡單而有效的解決方案,有望推動VR/AR中的人機互動、動作捕捉等應用的發展。

展開要點與分析

文章情報

研究者進階

要點

  • LAMP透過提升-擬合方法解耦觀察者和目標運動,有效應對嚴重自我運動和多視角挑戰。
  • 利用裝置6自由度運動和校準,將時間視窗內所有攝像頭的2D關鍵點轉換為統一的3D射線雲。
  • 採用端到端訓練的時空變換器直接擬合3D人體運動,學習世界空間中的自然運動先驗。
  • 在單目基準測試中達到最先進效能,在自拍式多攝像頭追蹤中大幅超越基線。

技術影響

可能影響合規要求、模型釋出節奏、資料治理和企業採購。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。