苹果机器学习研究团队提出了 GHARP(Real-time Gaussian Head Animation from Large-scale Reconstruction Prior),一种能够从受试者的少量输入图像和驱动表情信号实时生成 3D 人头动画的新方法。该方法的核心思想是将问题分解为两个阶段:身份阶段和动画阶段。身份阶段在离线完成,负责构建受试者几何形状和外观的表示;动画阶段在运行时进行,在身份表示的基础上预测与表情相关的残差。这种分离设计在保真度、质量和运行时间之间实现了有利的权衡:身份阶段可以承担较高的计算成本,而动画阶段则运行一个轻量级网络,并针对移动设备进行了优化。
GHARP 的动画在一个预训练重建模型的语义结构化潜在空间中执行。在这一空间中,表情变化保持空间局部性,使得残差预测更加高效。该重建先验提供了一致的空间布局,允许将多个输入视图融合成一个紧凑的、固定大小的规范高斯表示。这种两阶段设计虽然改善了运行时与质量的权衡,但仍然继承了所有表情驱动虚拟人方法的共同问题:表情编码只描述面部,因而忽略了身体姿态和衣物位置,导致这些区域在输入中缺乏明确指定。动画网络面临一个不适定的映射问题,只能对冲突的身体外观进行平均,从而产生模糊和时序闪烁。
为了解决这一问题,研究团队引入了一个身体对齐网络。该网络学习将目标图像中人物的身体与输入参考图像进行对齐,从而从训练信号中消除歧义。通过这种方式,动画网络能够更准确地处理身体姿态和衣物位置,显著减少模糊和闪烁现象。实验结果表明,GHARP 在 Ava-256 基准上达到了最先进的质量,同时在 A100 GPU 上运行速度提升高达 13 倍,且高斯数量减少了 8 倍。
该论文的作者包括 Ali Benlalah、Sepehr Johari、Patricia Vitoria、Armin Kappeler 等,发表于 2026 年 10 月。GHARP 建立在团队之前的工作基础之上,例如 HeadsUp(一种从多视角捕捉中大规模高质量重建 3D 高斯头部的方法)和 HUGS(Human Gaussian Splats,一种使用 3D 高斯泼溅表示可动画人体的方法)。这些先前的研究为 GHARP 的重建先验和高效表示提供了基础。