Hongbo Kang氏らによって提案されたCrowd4Dフレームワークは、単眼RGBビデオから大規模シーンにおけるシーン一貫性のある4D群衆動作を復元するという困難な問題に取り組んでいる。従来の単眼群衆再構築手法は、単一平面の仮定に依存することが多く、複雑な地形では信頼性の低い計量スケールや空間ドリフトを引き起こしていた。Crowd4Dは、群衆とシーンを共同最適化することにより、シーン幾何学を明示的に利用する初のシーン認識型4D群衆再構築フレームワークである。
このフレームワークの核心は、多段階最適化戦略を用いて画像空間とシーン空間の一貫性を確保することにある。まず、単眼ビデオから群衆とシーンの初期推定を行い、その後、共同最適化を通じて再構築結果を調整する。しかし、正確な人-シーン位置合わせ（特にスケールと位置）がこのタスクの主要なボトルネックである。従来、人体とシーンの再構築は分離されており、これが位置合わせの困難さの原因となっていた。この問題に対処するため、研究者らは人-シーン相互作用プロキシ（HSIP）を導入した。HSIPは、シーン相互作用点群（SIPC）とシーン相互作用表面（SIS）から導出される中間表現であり、明示的なシーン認識型幾何学的前提を符号化し、大規模単眼4D群衆再構築の最適化空間を再定義する。これにより、スケールと位置の位置合わせがより正確になる。
さらに、遮蔽下での時間的安定性を向上させるため、群衆構造コヒーレンス正則化（CSCR）が提案された。CSCRは、HSIPベースの空間的前提を活用し、局所群衆近傍内のペアワイズ相対変位と方向にソフトな時間的一貫性を課す。この正則化により、遮蔽によるジッターや不連続性が効果的に低減され、再構築された動作がよりスムーズで現実的になる。
広範な実験により、Crowd4Dは複雑な大規模実世界シーンにおいて、既存の最先端手法を一貫して上回ることが示された。屋内・屋外、平坦・起伏のある地形を問わず、Crowd4Dは頑健にシーン一貫性のある4D群衆動作を再構築できる。この技術は、自動運転、スポーツ分析、公共安全などの分野で重要な応用が期待されており、例えば自動運転における歩行者動作の正確な予測や、スポーツ試合での選手の集団行動分析などに活用できる。
本論文は2026年7月21日にarXiv（ID: 2607.19517）に投稿され、コードとデータセットは近日中に公開される予定である。研究者らは、今後フレームワークの効率をさらに最適化し、より広範なシーンタイプへの拡張を探求する意向を示している。