對話式 AI 正在改變人類與技術的互動方式。從虛擬助手和 AI 驅動的呼叫中心，到實時翻譯和輔助工具，語音優先界面正迅速成為全球數百萬用户的默認交互模式。然而，提供真正自然的語音體驗仍然是 AI 基礎設施中最困難的挑戰之一。用户期望類似人類的響應速度。過高的延遲會破壞對話流暢性並侵蝕信任。為了感覺自然，AI 生成的語音必須在與人類輪流對話相同的時間窗口內到達。
本文介紹專注於實時語音 AI 的 AWS 合作伙伴 Cartesia 如何利用專門設計的狀態空間模型（SSM）和 AWS 基礎設施，在全球範圍內提供低於 100 毫秒的文本轉語音和語音轉文本服務。開發者可以構建與人類對話難以區分的語音體驗。
實時語音 AI 的需求正在各行業迅速增長。呼叫中心：處理數百萬客户交互的 AI 代理需要即時語音生成以保持自然對話。遠程醫療：遠程患者諮詢需要低延遲語音以實現準確、共情的溝通。遊戲和虛擬世界：沉浸式體驗需要為非玩家角色（NPC）和玩家交互提供實時語音合成。無障礙：屏幕閲讀器和語音界面必須即時響應用户。銷售：AI 銷售代理必須無尷尬停頓地響應，以篩選潛在客户並處理異議。
傳統的基於 Transformer 的文本轉語音（TTS）模型在流式延遲方面存在困難，因為它們在處理整個序列後才產生輸出。這種架構限制造成了一個根本性矛盾：更高質量往往意味着更高延遲。而一類新的模型——狀態空間模型——解決了這一權衡。
狀態空間模型（SSM）處理序列的方式與當今大多數 AI 背後的 Transformer 架構根本不同。Transformer 使用一種稱為注意力的機制，將序列中的每個元素與所有其他元素進行比較。結果，計算量隨着序列長度呈二次方增長。SSM 則將序列視為一個隨時間連續演化的系統，逐步處理並攜帶一個緊湊的內部狀態。這可以轉換為計算機高效處理的形式，對於某些長序列保持低成本。這種效率使 SSM 非常適合實時流式數據，如實時語音。
SSM 在音頻處理中的關鍵優勢包括：高質量長距離依賴：結構化 SSM 是線性遞歸的一種形式，但其狀態參數化能夠在長音頻序列中保留信息，避免限制經典循環神經網絡（如 LSTM）的長期信號衰減。恆定內存佔用：與緩存所有先前 token 的 Transformer 不同，SSM 維護固定大小的隱藏狀態。原生流式支持：遞歸結構逐 token 處理輸入，因此無需架構修改即可支持真正的流式處理。這些特性使 SSM 特別適合對質量和延遲都不可妥協的實時語音應用。
Cartesia 將這些 SSM 優勢應用於兩個生產語音模型：用於語音生成的 Sonic 和用於轉錄的 Ink。Cartesia 是一家實時多模態智能公司，構建了基於狀態空間模型架構的語音 AI 應用。公司由推動 SSM 進展的研究人員創立，其應用專為人類感知邊緣的流式推理而設計。該應用包含兩個核心模型：用於文本轉語音的 Sonic 和用於語音轉文本的 Ink，均針對低於 100 毫秒的首字節延遲進行了優化，同時保持錄音室級輸出質量。
Sonic 是 Cartesia 的旗艦流式文本轉語音模型，提供超逼真語音合成，延遲低於 100 毫秒：首音頻字節約 90 毫秒內到達，用户幾乎立即聽到語音響應；超逼真音質，在 44 種以上語言中具有自然的韻律、情感和表現力；使用極少數據克隆語音，可從 10 秒音頻樣本創建自然 sounding 的自定義語音；流式原生架構，在收到完整文本輸入之前就開始生成音頻；上下文感知合成，在長段落中保持一致的語調 and 風格。Sonic 推薦給希望以最少運營開銷實現最快上市時間的團隊。調用 API 並實時接收流式音頻。
Ink 是 Cartesia 的流式語音轉文本模型，專為對話式 AI 應用而構建：原生輪次檢測，自動識別説話者何時結束輪次，無需單獨的語音活動檢測（VAD）或端點模型即可緩解尷尬停頓；上下文感知斷句，利用語義理解區分句子中間停頓和真正的對話邊界；流式轉錄，在用户説話時實時輸出部分轉錄，以便下游大語言模型（LLM）在輪次結束前開始形成響應；噪聲魯棒性，在現實部署常見的嘈雜環境中保持準確性；多説話者支持，優雅處理重疊語音和説話者轉換。Sonic 和 Ink 共同提供了構建感覺像人類的對話代理所需的完整語音 AI 堆棧。
如果您需要數據主權、延遲控制或合規性，可以將 Cartesia 模型直接部署到自己的 AWS 賬户中。Sonic 作為 Amazon SageMaker AI 模型包通過 AWS Marketplace 提供，您將其部署到完全在虛擬私有云（VPC）內運行的 SageMaker AI 端點。推理數據不會離開您的賬户。本節中的部署模式涵蓋 Sonic。Ink 目前通過 Cartesia API 提供，您可以通過 AWS Marketplace 中的 Cartesia Voice AI Platform 列表購買。Sonic 有兩種主要部署模式。
選項 1：Amazon SageMaker AI（AWS Marketplace 模型包）。在 Amazon SageMaker AI 上部署是獲得託管、VPC 內 Sonic 端點的最快路徑。Sonic 作為 AWS Marketplace 模型包提供，因此有一個一次性訂閲步驟，授予您的賬户一個特定於 AWS 區域的模型包 ARN。然後，您可以從該 ARN 創建 SageMaker AI 端點，可以通過控制台或使用 SageMaker 或 Boto3 SDK 完成。以下步驟遵循 Cartesia 的官方部署筆記本。
先決條件：從 Amazon SageMaker Notebook 實例或 SageMaker Studio 運行。AWS Identity and Access Management（IAM）執行角色需要 AmazonSageMakerFullAccess。要訂閲，您的角色（和您）需要 aws-marketplace:Subscribe、aws-marketplace:Unsubscribe 和 aws-marketplace:ViewSubscriptions 權限。否則，賬户必須已訂閲該列表。部署前，從模型包的 SupportedRealtimeInferenceInstanceTypes 字段中選擇支持的實例類型：ml.g6e.xlarge 或更大、ml.g7e.2xlarge 或更大、ml.g7.2xlarge 或更大、ml.p5.48xlarge、ml.p5en.48xlarge。如果所選實例類型的應用值低於當前使用量加上計劃端點實例數，您可能需要請求服務配額增加。有關詳細信息，請參閲 SageMaker AI 配額。
將 Sonic 3.6 部署到 SageMaker 端點。在 Amazon SageMaker JumpStart 中，您可以訂閲其 AWS Marketplace 模型包、創建 SageMaker 模型並將其託管在實時端點上。以下四個步驟展示了部署路徑。在 SageMaker AI 中，打開 AWS Marketplace 資源，然後選擇所有產品。搜索 Sonic 3.6 SageMaker 並選擇 Cartesia 列表。選擇查看購買選項，查看定價和條款，然後訂閲。訂閲授予您的 AWS 賬户訪問模型包的權限，但不會部署資源。打開部署和推理 > 可部署模型，選擇創建模型，選擇使用 AWS Marketplace 的模型包訂閲，然後選擇 Sonic 3.6 SageMaker。選擇執行角色，然後創建模型。從模型創建實時端點，使用支持的 GPU 實例，例如 ml.g6e.2xlarge。端點首先顯示為創建中狀態。等待 InService 後再調用。模型包 ARN 是區域特定的。要在美國東部（弗吉尼亞北部）使用 SageMaker API 驗證 Sonic 3.6 包，請運行：export MODEL_PACKAGE_ARN="arn:aws:sagemaker:us-east-1:865070037744:model-package/sonic36-sagemaker-v0-c6e9cacffcdf31178d1bd7c98c587480" aws sagemaker describe-model-package --model-package-name "$MODEL_PACKAGE_ARN" --region us-east-1 --query '{Status:ModelPackageStatus,ProductId:InferenceSpecification.Containers[0].ProductId,InstanceTypes:InferenceSpecification.SupportedRealtimeInferenceInstanceTypes}'。端點達到 InService 後，使用 SageMaker Runtime InvokeEndpointWithResponseStream API 調用它，並在應用程序中處理返回的音頻流。
選項 2：在 EC2 GPU 實例上自管理。一些團隊擁有現有 GPU 基礎設施、嚴格的網絡要求，或需要將 Cartesia 與其他服務共置。對於這些情況，您可以在 Amazon Elastic Compute Cloud（Amazon EC2）GPU 實例上自行運行模型容器。這使您完全控制運行時、擴展和網絡路徑。它使用從 Cartesia 獲得的容器鏡像，而不是 AWS Marketplace 模型包。
獲取容器鏡像。向 Cartesia 請求 Sonic 容器鏡像和許可條款。將其複製到您自己的私有 Amazon Elastic Container Registry（Amazon ECR）存儲庫，以便您的計算平面可以使用 IAM 作用域憑證拉取，而不是大規模訪問外部註冊表。選擇您的 GPU 實例系列。Sonic 在 NVIDIA GPU 實例上運行。G6（L4）和 G6e（L40S）系列是實時 TTS 的最佳平衡。較早的 G5（A10G）也可以工作。根據目標併發匹配 GPU 內存和 vCPU，並優先為每個模型副本使用單 GPU 實例以簡化擴展。
配置計算平面（Amazon Elastic Container Service（Amazon ECS）或 Amazon Elastic Kubernetes Service（Amazon EKS））。對於 ECS：註冊 GPU 任務定義（設置容器的 GPU 資源要求，例如 resourceRequirements 類型為 GPU），並將其作為服務運行在 Application Load Balancer 後面。對於 EKS：使用 EKS GPU 優化 AMI 創建 GPU 節點組（或 Karpenter 配置器），安裝 NVIDIA 設備插件，並將容器部署為由 Service/Ingress 前端的 Deployment。
配置低延遲網絡。將推理節點放置在集羣置放羣組中以最小化節點間延遲，將副本保持在單個可用區以獲得最短路徑，並使用 VPC 端點進行 ECR/S3 拉取。對於混合或本地調用方，通過 AWS Direct Connect 或私有 Network Load Balancer 終止流量，以避免公共互聯網跳轉。高效加載模型權重。將模型權重存儲在共享的低延遲捲上（Amazon……