Crowd4D：場景感知的單目4D人群重建

近日，由Hongbo Kang等人提出的Crowd4D框架正式釋出，該研究旨在解決從單目RGB影片中恢復大規模場景中場景一致的四維（4D）人群運動這一極具挑戰性的問題。傳統的單目人群重建方法通常依賴於單平面假設，這在複雜地形下會導致不可靠的度量尺度和空間漂移。Crowd4D則首次實現了場景感知的4D人群重建，透過聯合最佳化人群與場景，顯式地利用了場景幾何資訊。

Crowd4D的核心創新在於其多階段最佳化策略，確保了影像空間與場景空間的一致性。該框架首先從單目影片中初步估計人群和場景，然後透過聯合最佳化不斷調整，使得重建結果在整個場景中保持一致性。然而，精確的人-場景對齊（尤其是在尺度和位置上）是該任務的主要瓶頸。以往的人體和場景重建往往是解耦的，這導致了對齊困難。為此，研究者引入了人-場景互動代理（HSIP），這是一種中間表示，源自場景互動點雲（SIPC）和場景互動表面（SIS）。HSIP編碼了顯式的場景感知幾何先驗，重新定義了大尺度單目4D人群重建的最佳化空間，使得尺度和位置對齊更加準確。

為了進一步提升遮擋情況下的時間穩定性，論文提出了人群結構相干性正則化（CSCR）。CSCR利用基於HSIP的空間先驗，對區域性人群鄰域內的成對相對位移和方向施加軟時間一致性約束。這種正則化有效地減少了因遮擋導致的抖動和不連貫，使得重建的運動更加平滑和真實。

廣泛的實驗表明，Crowd4D在多個複雜的大規模真實場景中一致優於現有的最先進方法。無論是在室內還是室外場景，無論是平坦地形還是崎嶇地形，Crowd4D都能夠穩健地重建出場景一致的四維人群運動。這項技術對於自動駕駛、體育分析、公共安全等領域具有重要的應用價值，例如在自動駕駛中準確預測行人運動，或在體育比賽中分析運動員的集體行為。

該論文已於2026年7月21日提交至arXiv（編號2607.19517），程式碼和資料集預計將公開發布。研究者還表示，未來將進一步最佳化框架的效率，並探索將其擴充套件到更廣泛的場景型別中。