跳到主要内容
AI News HubLIVE
站内改写5 分钟阅读

在 AWS 上构建超低延迟语音 AI 应用

文章摘要

Cartesia 利用专门设计的状态空间模型(SSM)和 AWS 基础设施,在全球范围内提供低于 100 毫秒的文本转语音和语音转文本服务。本文介绍其 Sonic 模型如何通过 Amazon SageMaker AI 或自管理的 Amazon EC2 GPU 实例进行部署。

来源AWS Machine Learning Blog作者: Nolan Chen
在 AWS 上构建超低延迟语音 AI 应用
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

对话式 AI 正在改变人类与技术的互动方式。从虚拟助手和 AI 驱动的呼叫中心,到实时翻译和辅助工具,语音优先界面正迅速成为全球数百万用户的默认交互模式。然而,提供真正自然的语音体验仍然是 AI 基础设施中最困难的挑战之一。用户期望类似人类的响应速度。过高的延迟会破坏对话流畅性并侵蚀信任。为了感觉自然,AI 生成的语音必须在与人类轮流对话相同的时间窗口内到达。

本文介绍专注于实时语音 AI 的 AWS 合作伙伴 Cartesia 如何利用专门设计的状态空间模型(SSM)和 AWS 基础设施,在全球范围内提供低于 100 毫秒的文本转语音和语音转文本服务。开发者可以构建与人类对话难以区分的语音体验。

实时语音 AI 的需求正在各行业迅速增长。呼叫中心:处理数百万客户交互的 AI 代理需要即时语音生成以保持自然对话。远程医疗:远程患者咨询需要低延迟语音以实现准确、共情的沟通。游戏和虚拟世界:沉浸式体验需要为非玩家角色(NPC)和玩家交互提供实时语音合成。无障碍:屏幕阅读器和语音界面必须即时响应用户。销售:AI 销售代理必须无尴尬停顿地响应,以筛选潜在客户并处理异议。

传统的基于 Transformer 的文本转语音(TTS)模型在流式延迟方面存在困难,因为它们在处理整个序列后才产生输出。这种架构限制造成了一个根本性矛盾:更高质量往往意味着更高延迟。而一类新的模型——状态空间模型——解决了这一权衡。

状态空间模型(SSM)处理序列的方式与当今大多数 AI 背后的 Transformer 架构根本不同。Transformer 使用一种称为注意力的机制,将序列中的每个元素与所有其他元素进行比较。结果,计算量随着序列长度呈二次方增长。SSM 则将序列视为一个随时间连续演化的系统,逐步处理并携带一个紧凑的内部状态。这可以转换为计算机高效处理的形式,对于某些长序列保持低成本。这种效率使 SSM 非常适合实时流式数据,如实时语音。

SSM 在音频处理中的关键优势包括:高质量长距离依赖:结构化 SSM 是线性递归的一种形式,但其状态参数化能够在长音频序列中保留信息,避免限制经典循环神经网络(如 LSTM)的长期信号衰减。恒定内存占用:与缓存所有先前 token 的 Transformer 不同,SSM 维护固定大小的隐藏状态。原生流式支持:递归结构逐 token 处理输入,因此无需架构修改即可支持真正的流式处理。这些特性使 SSM 特别适合对质量和延迟都不可妥协的实时语音应用。

Cartesia 将这些 SSM 优势应用于两个生产语音模型:用于语音生成的 Sonic 和用于转录的 Ink。Cartesia 是一家实时多模态智能公司,构建了基于状态空间模型架构的语音 AI 应用。公司由推动 SSM 进展的研究人员创立,其应用专为人类感知边缘的流式推理而设计。该应用包含两个核心模型:用于文本转语音的 Sonic 和用于语音转文本的 Ink,均针对低于 100 毫秒的首字节延迟进行了优化,同时保持录音室级输出质量。

Sonic 是 Cartesia 的旗舰流式文本转语音模型,提供超逼真语音合成,延迟低于 100 毫秒:首音频字节约 90 毫秒内到达,用户几乎立即听到语音响应;超逼真音质,在 44 种以上语言中具有自然的韵律、情感和表现力;使用极少数据克隆语音,可从 10 秒音频样本创建自然 sounding 的自定义语音;流式原生架构,在收到完整文本输入之前就开始生成音频;上下文感知合成,在长段落中保持一致的语调 and 风格。Sonic 推荐给希望以最少运营开销实现最快上市时间的团队。调用 API 并实时接收流式音频。

Ink 是 Cartesia 的流式语音转文本模型,专为对话式 AI 应用而构建:原生轮次检测,自动识别说话者何时结束轮次,无需单独的语音活动检测(VAD)或端点模型即可缓解尴尬停顿;上下文感知断句,利用语义理解区分句子中间停顿和真正的对话边界;流式转录,在用户说话时实时输出部分转录,以便下游大语言模型(LLM)在轮次结束前开始形成响应;噪声鲁棒性,在现实部署常见的嘈杂环境中保持准确性;多说话者支持,优雅处理重叠语音和说话者转换。Sonic 和 Ink 共同提供了构建感觉像人类的对话代理所需的完整语音 AI 堆栈。

如果您需要数据主权、延迟控制或合规性,可以将 Cartesia 模型直接部署到自己的 AWS 账户中。Sonic 作为 Amazon SageMaker AI 模型包通过 AWS Marketplace 提供,您将其部署到完全在虚拟私有云(VPC)内运行的 SageMaker AI 端点。推理数据不会离开您的账户。本节中的部署模式涵盖 Sonic。Ink 目前通过 Cartesia API 提供,您可以通过 AWS Marketplace 中的 Cartesia Voice AI Platform 列表购买。Sonic 有两种主要部署模式。

选项 1:Amazon SageMaker AI(AWS Marketplace 模型包)。在 Amazon SageMaker AI 上部署是获得托管、VPC 内 Sonic 端点的最快路径。Sonic 作为 AWS Marketplace 模型包提供,因此有一个一次性订阅步骤,授予您的账户一个特定于 AWS 区域的模型包 ARN。然后,您可以从该 ARN 创建 SageMaker AI 端点,可以通过控制台或使用 SageMaker 或 Boto3 SDK 完成。以下步骤遵循 Cartesia 的官方部署笔记本。

先决条件:从 Amazon SageMaker Notebook 实例或 SageMaker Studio 运行。AWS Identity and Access Management(IAM)执行角色需要 AmazonSageMakerFullAccess。要订阅,您的角色(和您)需要 aws-marketplace:Subscribe、aws-marketplace:Unsubscribe 和 aws-marketplace:ViewSubscriptions 权限。否则,账户必须已订阅该列表。部署前,从模型包的 SupportedRealtimeInferenceInstanceTypes 字段中选择支持的实例类型:ml.g6e.xlarge 或更大、ml.g7e.2xlarge 或更大、ml.g7.2xlarge 或更大、ml.p5.48xlarge、ml.p5en.48xlarge。如果所选实例类型的应用值低于当前使用量加上计划端点实例数,您可能需要请求服务配额增加。有关详细信息,请参阅 SageMaker AI 配额。

将 Sonic 3.6 部署到 SageMaker 端点。在 Amazon SageMaker JumpStart 中,您可以订阅其 AWS Marketplace 模型包、创建 SageMaker 模型并将其托管在实时端点上。以下四个步骤展示了部署路径。在 SageMaker AI 中,打开 AWS Marketplace 资源,然后选择所有产品。搜索 Sonic 3.6 SageMaker 并选择 Cartesia 列表。选择查看购买选项,查看定价和条款,然后订阅。订阅授予您的 AWS 账户访问模型包的权限,但不会部署资源。打开部署和推理 > 可部署模型,选择创建模型,选择使用 AWS Marketplace 的模型包订阅,然后选择 Sonic 3.6 SageMaker。选择执行角色,然后创建模型。从模型创建实时端点,使用支持的 GPU 实例,例如 ml.g6e.2xlarge。端点首先显示为创建中状态。等待 InService 后再调用。模型包 ARN 是区域特定的。要在美国东部(弗吉尼亚北部)使用 SageMaker API 验证 Sonic 3.6 包,请运行:export MODEL_PACKAGE_ARN="arn:aws:sagemaker:us-east-1:865070037744:model-package/sonic36-sagemaker-v0-c6e9cacffcdf31178d1bd7c98c587480" aws sagemaker describe-model-package --model-package-name "$MODEL_PACKAGE_ARN" --region us-east-1 --query '{Status:ModelPackageStatus,ProductId:InferenceSpecification.Containers[0].ProductId,InstanceTypes:InferenceSpecification.SupportedRealtimeInferenceInstanceTypes}'。端点达到 InService 后,使用 SageMaker Runtime InvokeEndpointWithResponseStream API 调用它,并在应用程序中处理返回的音频流。

选项 2:在 EC2 GPU 实例上自管理。一些团队拥有现有 GPU 基础设施、严格的网络要求,或需要将 Cartesia 与其他服务共置。对于这些情况,您可以在 Amazon Elastic Compute Cloud(Amazon EC2)GPU 实例上自行运行模型容器。这使您完全控制运行时、扩展和网络路径。它使用从 Cartesia 获得的容器镜像,而不是 AWS Marketplace 模型包。

获取容器镜像。向 Cartesia 请求 Sonic 容器镜像和许可条款。将其复制到您自己的私有 Amazon Elastic Container Registry(Amazon ECR)存储库,以便您的计算平面可以使用 IAM 作用域凭证拉取,而不是大规模访问外部注册表。选择您的 GPU 实例系列。Sonic 在 NVIDIA GPU 实例上运行。G6(L4)和 G6e(L40S)系列是实时 TTS 的最佳平衡。较早的 G5(A10G)也可以工作。根据目标并发匹配 GPU 内存和 vCPU,并优先为每个模型副本使用单 GPU 实例以简化扩展。

配置计算平面(Amazon Elastic Container Service(Amazon ECS)或 Amazon Elastic Kubernetes Service(Amazon EKS))。对于 ECS:注册 GPU 任务定义(设置容器的 GPU 资源要求,例如 resourceRequirements 类型为 GPU),并将其作为服务运行在 Application Load Balancer 后面。对于 EKS:使用 EKS GPU 优化 AMI 创建 GPU 节点组(或 Karpenter 配置器),安装 NVIDIA 设备插件,并将容器部署为由 Service/Ingress 前端的 Deployment。

配置低延迟网络。将推理节点放置在集群置放群组中以最小化节点间延迟,将副本保持在单个可用区以获得最短路径,并使用 VPC 端点进行 ECR/S3 拉取。对于混合或本地调用方,通过 AWS Direct Connect 或私有 Network Load Balancer 终止流量,以避免公共互联网跳转。高效加载模型权重。将模型权重存储在共享的低延迟卷上(Amazon……

展开要点与分析

文章情报

工程师进阶

要点

  • 状态空间模型(SSM)相比 Transformer 具有恒定内存占用和原生流式支持,适合实时语音处理。
  • Cartesia 的 Sonic 模型实现约 90 毫秒的首字节延迟,支持 44 种以上语言和 10 秒音频样本的语音克隆。
  • Sonic 可通过 AWS Marketplace 在 Amazon SageMaker AI 上部署,或在 EC2 GPU 实例上自管理部署。
  • Ink 模型提供流式语音转文本,具有原生轮次检测和上下文感知断句功能。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。