蘋果機器學習研究團隊近期提出了一種名為HeadsUp的創新方法，旨在從多視角捕獲中高效重建高質量的三維頭部模型。該方法採用可擴展的前饋架構，能夠在無需測試時優化的情況下生成高保真度的3D高斯頭部。
HeadsUp的核心是一個精心設計的編碼器-解碼器架構。首先，編碼器利用基於Transformer的網絡將多個輸入視圖壓縮成一個緊湊的潛在表示。隨後，解碼器將該潛在表示轉換為一組UV參數化的3D高斯分佈，這些高斯分佈被錨定在一箇中性的頭部模板上。這種UV表示的關鍵優勢在於，它有效地將3D高斯的數量與輸入圖像的分辨率和數量解耦，從而允許使用大量高分辨率視圖進行訓練，而不會導致計算爆炸。模型以端到端的方式聯合訓練，結合了光度損失和感知損失，以生成高質量的幾何和紋理。
訓練和評估均在蘋果內部的包含超過10,000個主體的大型數據集上進行，這比現有的多視角人類頭部數據集（如H3DS、NeRSemble等）大了一個數量級。HeadsUp在重建質量上達到了最先進的水平，並且能夠可靠地泛化到新的身份，無需針對每個新主體進行任何微調或優化。研究人員還深入分析了模型在身份數量、視圖數量和模型容量上的擴展行為，揭示了重建質量與計算成本之間的權衡關係，為實際部署提供了實用見解。
除了重建，HeadsUp的潛在空間還支持兩項引人注目的下游應用：生成全新的3D身份（即身份插值或隨機採樣），以及通過表情混合形狀為3D頭部添加動畫。這意味着該方法不僅在靜態重建上表現出色，還能夠賦能虛擬現實、電影製作和數字人等領域，實現動態、個性化的內容創作。與現有的方法如DSplats和HUGS相比，HeadsUp在可擴展性和泛化能力上具有顯著優勢，為大規模、高質量的頭部數字化鋪平了道路。