Crowd4D：場景感知的單目4D人羣重建

近日，由Hongbo Kang等人提出的Crowd4D框架正式發佈，該研究旨在解決從單目RGB視頻中恢復大規模場景中場景一致的四維（4D）人羣運動這一極具挑戰性的問題。傳統的單目人羣重建方法通常依賴於單平面假設，這在複雜地形下會導致不可靠的度量尺度和空間漂移。Crowd4D則首次實現了場景感知的4D人羣重建，通過聯合優化人羣與場景，顯式地利用了場景幾何信息。

Crowd4D的核心創新在於其多階段優化策略，確保了圖像空間與場景空間的一致性。該框架首先從單目視頻中初步估計人羣和場景，然後通過聯合優化不斷調整，使得重建結果在整個場景中保持一致性。然而，精確的人-場景對齊（尤其是在尺度和位置上）是該任務的主要瓶頸。以往的人體和場景重建往往是解耦的，這導致了對齊困難。為此，研究者引入了人-場景交互代理（HSIP），這是一種中間表示，源自場景交互點雲（SIPC）和場景交互表面（SIS）。HSIP編碼了顯式的場景感知幾何先驗，重新定義了大尺度單目4D人羣重建的優化空間，使得尺度和位置對齊更加準確。

為了進一步提升遮擋情況下的時間穩定性，論文提出了人羣結構相干性正則化（CSCR）。CSCR利用基於HSIP的空間先驗，對局部人羣鄰域內的成對相對位移和方向施加軟時間一致性約束。這種正則化有效地減少了因遮擋導致的抖動和不連貫，使得重建的運動更加平滑和真實。

廣泛的實驗表明，Crowd4D在多個複雜的大規模真實場景中一致優於現有的最先進方法。無論是在室內還是室外場景，無論是平坦地形還是崎嶇地形，Crowd4D都能夠穩健地重建出場景一致的四維人羣運動。這項技術對於自動駕駛、體育分析、公共安全等領域具有重要的應用價值，例如在自動駕駛中準確預測行人運動，或在體育比賽中分析運動員的集體行為。

該論文已於2026年7月21日提交至arXiv（編號2607.19517），代碼和數據集預計將公開發布。研究者還表示，未來將進一步優化框架的效率，並探索將其擴展到更廣泛的場景類型中。