AI News HubLIVE
站内改写

推出 Dubbing v2:我们革命性的全新配音模型

今天,ElevenLabs 推出了 Dubbing v2,这是一款革命性的 AI 配音模型。与传统的基于文本的配音不同,Dubbing v2 直接利用原始表演的情感、语气和节奏,在 90 多种语言中保持原声的自然感和表现力。该模型解决了 AI 配音中一个长期未解决的问题:让翻译后的语音听起来像是原说话者真正说的一样。

文章情报

工程师进阶

要点

  • Dubbing v2 直接基于原始表演进行配音,保留情感和语调
  • 支持 90 多种语言,自动同步翻译与口型
  • 为创作者、营销人员和制作团队提供高质量多语言内容解决方案
  • 提供免费试用,7 天内可免费使用一定时长

为什么重要

这条新闻值得关注,因为Dubbing v2 直接基于原始表演进行配音,保留情感和语调。

技术影响

可能影响模型选型、推理成本、产品能力和评测基准。

ElevenLabs 今日宣布推出 Dubbing v2,这是一款颠覆性的 AI 配音模型,能够保留原声表演的情感与表现力,并将其迁移至 90 多种语言。与传统配音系统不同,Dubbing v2 并非仅依赖文本转录,而是直接以原始音频表现为条件进行处理,从而保留语气、节奏、语速和情感意涵,使得翻译后的语音听起来更加自然、真实,仿佛原说话者本人正在用目标语言表达。

传统 AI 配音系统通常高度依赖文本转录,虽然能产生准确的翻译,但生成的音频往往失去了人类语言的自然韵味。情感、时机、强调、犹豫和能量等细微之处,很难仅从文本中重建。Dubbing v2 通过直接利用原始表演信号,捕获说话者的语调与口吻,并将其跨语言传递,显著提升了配音的自然度和表现力,同时忠于原声的传达方式。

优秀的配音不仅仅是直接翻译。不同语言需要不同的措辞、节奏和句子结构才能听起来自然。Dubbing v2 包含同步感知翻译系统,能自动对齐开始时间、结束时间和语速,减少手动调整需求,使最终输出更接近专业级配音效果。

专业配音每分钟的成本可能高达数百美元,且通常需要涉及翻译、配音演员、编辑和音频工程师的复杂制作流程。Dubbing v2 通过自动化大幅降低了门槛,创作者和企业无需构建复杂工作流或协调多个供应商,即可制作高质量的多语言内容。

对于创作者,Dubbing v2 可在 ElevenCreative 内一键完成 YouTube 视频等内容的本地化,保留创作者的个人风格和表达方式,快速触达全球观众。同时,ElevenLabs 推出了创作者配音合作伙伴计划,符合条件的创作者可享受折扣。对于营销人员,该模型支持跨国际市场的高质量本地化,无需重新制作广告、产品视频或品牌内容。对于工作室和广播公司,ElevenProductions 将 Dubbing v2 与专业本地化服务结合,提供可扩展的端到端制作流程。

Dubbing v2 现已通过 ElevenCreative 和 ElevenProductions 提供。在未来 7 天内,用户可在免费计划中获得 1 分钟免费使用时长,入门计划 15 分钟,Creator+ 计划 30 分钟。API 访问即将推出,详情请联系销售团队。