Apple Machine Learning Researchチームは、マルチビューキャプチャから高品質な3Dヘッドモデルを再構成する新しい手法HeadsUpを提案した。この手法はスケーラブルなフィードフォワードアーキテクチャを採用し、テスト時最適化なしで高忠実度の3Dガウシアンヘッドを生成する。
HeadsUpの核となるのはエンコーダ-デコーダアーキテクチャである。エンコーダはトランスフォーマーベースのネットワークを用いて複数の入力ビューをコンパクトな潜在表現に圧縮する。次にデコーダがその表現を、ニュートラルヘッドテンプレートにアンカーされたUVパラメータ化された3Dガウシアンのセットに変換する。このUV表現の重要な利点は、3Dガウシアンの数が入力画像の解像度や数から独立していることであり、これにより多数の高解像度ビューを用いたトレーニングが可能となり、計算爆発を防ぐ。モデルは光度損失と知覚損失を組み合わせたエンドツーエンドの学習により、高品質な形状とテクスチャを生成する。
トレーニングと評価は、10,000人以上の被験者からなる内部データセットで行われた。これは既存のマルチビューヘッドデータセット（H3DS、NeRSembleなど）よりも一桁大きい。HeadsUpは再構成品質で最先端を達成し、新しい個人に対して最適化なしで一般化する。研究者らはまた、個人数、ビュー数、モデル容量に関するスケーリング挙動を詳細に分析し、品質と計算コストのトレードオフに関する実用的な洞察を明らかにした。
再構成に加えて、HeadsUpの潜在空間は下流アプリケーションをサポートする：新しい3D個人の生成（潜在空間での補間やランダムサンプリング）や、表情ブレンドシェイプによるヘッドのアニメーションである。これにより、静的な再構成だけでなく、バーチャルリアリティ、映画制作、デジタルヒューマンなどの分野での動的でパーソナライズされたコンテンツ制作が可能となる。DSplatsやHUGSといった既存手法と比較して、HeadsUpは拡張性と一般化能力において顕著な優位性を持ち、大規模で高品質なヘッドデジタル化への道を開くものである。