跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

GHARP:基於大規模重建先驗的即時高斯頭部動畫

文章摘要

GHARP 是一種從少量輸入影像和驅動表情訊號即時生成 3D 人頭動畫的方法。它將問題解耦為離線的身份構建階段和執行時的輕量動畫階段,並透過身體對齊網路解決了表情編碼忽略身體姿態和衣物位置導致的模糊與閃爍問題。在 Ava-256 基準上達到最先進質量,同時執行速度提升高達 13 倍,高斯數量減少 8 倍。

GHARP:基於大規模重建先驗的即時高斯頭部動畫
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

蘋果機器學習研究團隊提出了 GHARP(Real-time Gaussian Head Animation from Large-scale Reconstruction Prior),一種能夠從受試者的少量輸入影像和驅動表情訊號即時生成 3D 人頭動畫的新方法。該方法的核心思想是將問題分解為兩個階段:身份階段和動畫階段。身份階段在離線完成,負責構建受試者幾何形狀和外觀的表示;動畫階段在執行時進行,在身份表示的基礎上預測與表情相關的殘差。這種分離設計在保真度、質量和執行時間之間實現了有利的權衡:身份階段可以承擔較高的計算成本,而動畫階段則執行一個輕量級網路,並針對移動裝置進行了最佳化。

GHARP 的動畫在一個預訓練重建模型的語義結構化潛在空間中執行。在這一空間中,表情變化保持空間區域性性,使得殘差預測更加高效。該重建先驗提供了一致的空間佈局,允許將多個輸入檢視融合成一個緊湊的、固定大小的規範高斯表示。這種兩階段設計雖然改善了執行時與質量的權衡,但仍然繼承了所有表情驅動虛擬人方法的共同問題:表情編碼只描述面部,因而忽略了身體姿態和衣物位置,導致這些區域在輸入中缺乏明確指定。動畫網路面臨一個不適定的對映問題,只能對沖突的身體外觀進行平均,從而產生模糊和時序閃爍。

為了解決這一問題,研究團隊引入了一個身體對齊網路。該網路學習將目標影像中人物的身體與輸入參考影像進行對齊,從而從訓練訊號中消除歧義。透過這種方式,動畫網路能夠更準確地處理身體姿態和衣物位置,顯著減少模糊和閃爍現象。實驗結果表明,GHARP 在 Ava-256 基準上達到了最先進的質量,同時在 A100 GPU 上執行速度提升高達 13 倍,且高斯數量減少了 8 倍。

該論文的作者包括 Ali Benlalah、Sepehr Johari、Patricia Vitoria、Armin Kappeler 等,發表於 2026 年 10 月。GHARP 建立在團隊之前的工作基礎之上,例如 HeadsUp(一種從多視角捕捉中大規模高質量重建 3D 高斯頭部的方法)和 HUGS(Human Gaussian Splats,一種使用 3D 高斯潑濺表示可動畫人體的方法)。這些先前的研究為 GHARP 的重建先驗和高效表示提供了基礎。

展開要點與分析

文章情報

工程師進階

要點

  • 兩階段設計:離線身份階段構建幾何與外觀表示,執行時動畫階段預測表情相關殘差。
  • 在預訓練重建模型的語義結構化潛在空間中進行動畫,使表情變化保持空間區域性性,便於殘差預測。
  • 身體對齊網路消除身體姿態和衣物位置的歧義,減少模糊和閃爍。
  • 在 Ava-256 基準上質量領先,A100 GPU 上速度快 13 倍,高斯數量少 8 倍。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。