AudioLift 是 arXiv 上于 2026 年 10 月 22 日提交的一篇计算机视觉与模式识别(cs.CV)方向的新论文,作者为 Zhuoyuan Jiang 等共 5 人,提交人为 Weijie Lyu。论文标题为《AudioLift: Audio-Driven Single Image to Full-Head Gaussian Avatar via Multi-view Video Generation》,即“通过多视角视频生成实现音频驱动的单图到全头部高斯虚拟形象”。该论文的 arXiv 编号为 2610.31747,DOI 为 10.48550/arXiv.2610.31747(由 DataCite 发放,尚待注册),并提供了项目主页链接。
论文指出现有 3D 说话虚拟形象方法存在明显局限。当前主流方案大多依赖参数化人脸模型,例如 3DMM 或 FLAME;这类模型使用紧凑的动作表示来描述面部运动,因而在合成极端表情时能力受限,同时也难以对头饰等配饰进行建模。换言之,参数化模型的表达空间被其固定的拓扑和维度所约束,导致生成的虚拟形象在表情幅度和外观完整性上都难以达到理想效果。
为绕开这些限制,作者提出 AudioLift,一个两阶段的框架,其核心思路是把生成的多视角视频作为中间表示,用于音频驱动的虚拟形象生成,并且整个流程既不依赖参数化人脸模型,也不需要针对每个实例进行逐实例优化。第一阶段的重点是同步多视角视频生成:给定单张肖像图像和音频输入,框架生成在多个视角下保持同步的多视角视频序列。第二阶段则是对不一致性具有鲁棒性的高斯重建阶段,从这些多视角视频中恢复出连贯的全头部几何结构。之所以强调“对不一致性鲁棒”,是因为生成的多视角视频之间不可避免地存在跨视角的细微偏差,重建阶段需要能够容忍并吸收这些偏差,才能得到一致的三维结果。
作者表示,大量实验表明 AudioLift 生成的 3D 说话虚拟形象能够捕捉比现有方法更夸张的面部表情,同时在几何完整性上有所提升,并在完整的 360 度观看范围内保持较强的多视角一致性。这意味着用户从任意角度观察该虚拟形象时,都能获得较为连贯的外观,而不仅限于正面视角。由于该方法以单张肖像图像为输入起点,并输出全头部的高斯虚拟形象,它在虚拟主播、远程会议、游戏角色与沉浸式社交等场景中具有潜在应用价值;不过论文摘要并未给出定量指标、数据集规模或运行开销等细节,这些内容需查阅论文全文与项目主页进一步确认。
从发表信息看,这是一篇标注为“new”的首次提交版本(v1),提交时间为 2026 年 10 月 22 日 17:59:54 UTC,全文文件约 37,372 KB,属于 cs.CV 分类,发布时间落在 2026 年 10 月的浏览区间内。