跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

GHARP:基于大规模重建先验的实时高斯头部动画

文章摘要

GHARP 是一种从少量输入图像和驱动表情信号实时生成 3D 人头动画的方法。它将问题解耦为离线的身份构建阶段和运行时的轻量动画阶段,并通过身体对齐网络解决了表情编码忽略身体姿态和衣物位置导致的模糊与闪烁问题。在 Ava-256 基准上达到最先进质量,同时运行速度提升高达 13 倍,高斯数量减少 8 倍。

GHARP:基于大规模重建先验的实时高斯头部动画
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

苹果机器学习研究团队提出了 GHARP(Real-time Gaussian Head Animation from Large-scale Reconstruction Prior),一种能够从受试者的少量输入图像和驱动表情信号实时生成 3D 人头动画的新方法。该方法的核心思想是将问题分解为两个阶段:身份阶段和动画阶段。身份阶段在离线完成,负责构建受试者几何形状和外观的表示;动画阶段在运行时进行,在身份表示的基础上预测与表情相关的残差。这种分离设计在保真度、质量和运行时间之间实现了有利的权衡:身份阶段可以承担较高的计算成本,而动画阶段则运行一个轻量级网络,并针对移动设备进行了优化。

GHARP 的动画在一个预训练重建模型的语义结构化潜在空间中执行。在这一空间中,表情变化保持空间局部性,使得残差预测更加高效。该重建先验提供了一致的空间布局,允许将多个输入视图融合成一个紧凑的、固定大小的规范高斯表示。这种两阶段设计虽然改善了运行时与质量的权衡,但仍然继承了所有表情驱动虚拟人方法的共同问题:表情编码只描述面部,因而忽略了身体姿态和衣物位置,导致这些区域在输入中缺乏明确指定。动画网络面临一个不适定的映射问题,只能对冲突的身体外观进行平均,从而产生模糊和时序闪烁。

为了解决这一问题,研究团队引入了一个身体对齐网络。该网络学习将目标图像中人物的身体与输入参考图像进行对齐,从而从训练信号中消除歧义。通过这种方式,动画网络能够更准确地处理身体姿态和衣物位置,显著减少模糊和闪烁现象。实验结果表明,GHARP 在 Ava-256 基准上达到了最先进的质量,同时在 A100 GPU 上运行速度提升高达 13 倍,且高斯数量减少了 8 倍。

该论文的作者包括 Ali Benlalah、Sepehr Johari、Patricia Vitoria、Armin Kappeler 等,发表于 2026 年 10 月。GHARP 建立在团队之前的工作基础之上,例如 HeadsUp(一种从多视角捕捉中大规模高质量重建 3D 高斯头部的方法)和 HUGS(Human Gaussian Splats,一种使用 3D 高斯泼溅表示可动画人体的方法)。这些先前的研究为 GHARP 的重建先验和高效表示提供了基础。

展开要点与分析

文章情报

工程师进阶

要点

  • 两阶段设计:离线身份阶段构建几何与外观表示,运行时动画阶段预测表情相关残差。
  • 在预训练重建模型的语义结构化潜在空间中进行动画,使表情变化保持空间局部性,便于残差预测。
  • 身体对齐网络消除身体姿态和衣物位置的歧义,减少模糊和闪烁。
  • 在 Ava-256 基准上质量领先,A100 GPU 上速度快 13 倍,高斯数量少 8 倍。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。