Apple Machine Learning Researchの研究者らは、GHARP（Real-time Gaussian Head Animation from Large-scale Reconstruction Prior）を発表しました。これは、被写体の少数の入力画像と駆動表情信号から、3D人体頭部をリアルタイムでアニメーション化する手法です。この手法の中心的なアイデアは、問題を2つの段階に分解することです。アイデンティティ段階はオフラインで実行され、被写体の幾何形状と外観の表現を構築します。アニメーション段階はランタイムで動作し、アイデンティティ表現に基づいて表情に関連する残差を予測します。この分離設計により、忠実度、品質、実行時間の間で有利なトレードオフが実現されます。アイデンティティ段階は計算コストをかけられますが、アニメーション段階はモバイルデバイス向けに最適化された軽量ネットワークを実行します。
GHARPのアニメーションは、事前学習済み再構成モデルの意味的に構造化された潜在空間内で実行されます。この空間では、表情の変化が空間的に局所化されるため、残差予測が効率的になります。この再構成事前分布は一貫した空間レイアウトを提供し、複数の入力ビューをコンパクトで固定サイズの正規ガウシアン表現に融合することを可能にします。この2段階設計は実行時間と品質のトレードオフを改善しますが、すべての表情駆動型アバター手法に共通する問題を依然として抱えています。つまり、表情コードは顔のみを記述するため、身体の姿勢や衣服の位置が考慮されず、これらの領域が入力で不明確になります。アニメーションネットワークは不適切な写像に直面し、矛盾する身体の外観を平均化することで、ぼやけや時間的なちらつきが生じます。
この問題を解決するために、研究チームは身体アラインメントネットワークを導入しました。このネットワークは、ターゲット画像内の人物の身体を入力参照画像に位置合わせすることを学習し、トレーニング信号から曖昧さを除去します。これにより、アニメーションネットワークは身体の姿勢や衣服の位置をより正確に処理でき、ぼやけやちらつきが大幅に低減されます。実験結果は、GHARPがAva-256ベンチマークで最先端の品質を達成し、A100 GPU上で最大13倍高速に動作し、ガウシアン数が8分の1であることを示しています。
論文の著者には、Ali Benlalah、Sepehr Johari、Patricia Vitoria、Armin Kappelerらが含まれ、2026年10月に公開されました。GHARPは、チームの以前の研究であるHeadsUp（マルチビューキャプチャから大規模で高品質な3Dガウシアンヘッドを再構成する方法）やHUGS（Human Gaussian Splats、3Dガウシアンスプラッティングを使用してアニメーション可能な人体を表現する方法）に基づいています。これらの先行研究が、GHARPの再構成事前分布と効率的な表現の基盤を提供しています。