近年來,隨著虛擬現實(VR)和增強現實(AR)頭戴裝置的普及,從多攝像頭系統中追蹤3D人體運動成為一個重要且具有挑戰性的研究課題。尤其是在以自我為中心的視角中,裝置佩戴者的劇烈運動、部分可見性、遮擋以及訓練資料的缺乏,使得現有方法難以直接應用。傳統的單目影片人體追蹤方法通常假設攝像頭靜止或緩慢移動,無法有效利用多視角、校準和定位資訊,因此在動態場景中容易失效。
針對這一難題,來自Meta的研究團隊提出了LAMP(Localization Aware Multi-camera People Tracking)框架。LAMP的核心創新在於早期解耦觀察者(裝置佩戴者)和目標的運動,從而簡化問題。該方法分為兩個步驟:首先,利用已知的裝置6自由度(6DoF)運動軌跡和攝像頭校準引數,將一段時窗內所有攝像頭檢測到的2D人體關鍵點轉換到統一的世界座標系中,形成一組3D射線雲;其次,透過一個端到端訓練的時空變換器(spatio-temporal transformer)直接對這組3D射線雲進行人體運動擬合。這種“提升-然後擬合”(lift-then-fit)的設計使LAMP能夠學習並利用世界空間中的自然人體運動先驗,同時靈活地整合多個非同步、部分觀察且移動的攝像頭資訊。
實驗結果表明,LAMP在標準單目人體追蹤基準測試中達到了最先進水平,並在其針對的自我中心多攝像頭設定中大幅超越了現有基線方法。該論文已被計算機視覺頂級會議CVPR 2026接收,相關專案頁面和程式碼已公開。LAMP為多攝像頭人體追蹤提供了一個簡單而有效的解決方案,有望推動VR/AR中的人機互動、動作捕捉等應用的發展。