会話型AIは、人間とテクノロジーの相互作用を変革しています。仮想アシスタントやAI搭載のコンタクトセンターから、リアルタイム翻訳やアクセシビリティツールに至るまで、音声ファーストのインターフェースは世界中の何百万人ものユーザーにとってデフォルトのインタラクションモードになりつつあります。しかし、真に自然な音声体験を提供することは、AIインフラストラクチャにおける最も困難な課題の1つであり続けています。ユーザーは人間のような応答性を期待しています。過度の遅延は会話の流れを壊し、信頼を損なう可能性があります。自然に感じるためには、AIが生成した音声は人間の交代発話と同じ時間枠内に到着する必要があります。
この記事では、リアルタイム音声AIを専門とするAWSパートナーのCartesiaが、専用設計の状態空間モデル（SSM）とAWSインフラストラクチャを活用して、世界規模で100ミリ秒未満のテキスト読み上げと音声認識を実現する方法を紹介します。開発者は、人間の会話と区別がつかない音声体験を構築できます。
リアルタイム音声AIの需要は、業界全体で急速に成長しています。コンタクトセンター：数百万の顧客インタラクションを処理するAIエージェントは、自然な対話を維持するために即時の音声生成を必要とします。遠隔医療：遠隔患者相談では、正確で共感のあるコミュニケーションのために低遅延音声が求められます。ゲームと仮想世界：没入型体験では、ノンプレイヤーキャラクター（NPC）やプレイヤーインタラクションのためのリアルタイム音声合成が必要です。アクセシビリティ：スクリーンリーダーや音声インターフェースは、視覚障害のあるユーザーにサービスを提供するために即座に応答する必要があります。販売：AI販売エージェントは、見込み客を選別し、異議に対処し、関心を維持するために、ぎこちない間を置かずに応答する必要があります。
従来のTransformerベースのテキスト読み上げ（TTS）モデルは、出力を生成する前にシーケンス全体を処理するため、ストリーミング遅延に苦労します。このアーキテクチャ上の制限は、根本的な緊張を生み出します。より高い品質はしばしばより高い遅延を意味します。状態空間モデルという新しいクラスのモデルがこのトレードオフを解決します。
状態空間モデル（SSM）は、今日のほとんどのAIの背後にあるTransformerアーキテクチャとは根本的に異なる方法でシーケンスを処理します。Transformerはアテンションと呼ばれるメカニズムを使用し、シーケンス内のすべての要素を他のすべての要素と比較します。その結果、計算量はシーケンスが長くなるにつれて二次関数的に増加します。SSMは代わりに、シーケンスを時間とともに連続的に進化するシステムとして扱い、ステップバイステップで処理し、コンパクトな内部状態を引き継ぎます。これはコンピュータが効率的に処理できる形式に変換でき、特定の長いシーケンスのコストを低く抑えます。この効率性により、SSMはライブ音声などのリアルタイムストリーミングデータに適しています。
音声処理におけるSSMの主な利点には、以下が含まれます。高品質な長距離依存関係：構造化SSMは線形リカレンスの一種ですが、その状態パラメータ化は長い音声シーケンスにわたって情報を保持し、長短期記憶（LSTM）ネットワークなどの古典的なリカレントニューラルネットワーク（RNN）を制限する長距離信号減衰を回避します。一定のメモリフットプリント：すべての以前のトークンをキャッシュするTransformerとは異なり、SSMは固定サイズの隠れ状態を維持します。ネイティブストリーミングサポート：リカレント構造は入力をトークンごとに処理するため、アーキテクチャの変更なしに真のストリーミングをサポートします。これらの特性により、SSMは品質と遅延の両方が譲れないリアルタイム音声アプリケーションに特に適しています。
CartesiaはこれらのSSMの利点を、2つの実稼働音声モデル、音声生成用のSonicと転写用のInkに活用しています。Cartesiaは、状態空間モデルアーキテクチャに基づいて構築された音声AIアプリケーションを開発したリアルタイムマルチモーダルインテリジェンス企業です。SSMの進歩を開拓した研究者によって設立され、そのアプリケーションは人間の知覚の限界でのストリーミング推論向けに設計されています。このアプリケーションは、テキスト読み上げ用のSonicと音声認識用のInkという2つのコアモデルを備え、どちらもスタジオ品質の出力を維持しながら100ミリ秒未満のファーストバイト遅延に最適化されています。
SonicはCartesiaのフラッグシップストリーミングテキスト読み上げモデルで、100ミリ秒未満の遅延で超リアルな音声合成を提供します。最初の音声バイトは約90ミリ秒で到着し、ユーザーはほぼ瞬時に音声応答を聞くことができます。超リアルな音声品質：44言語以上で自然な韻律、感情、表現力を実現します。最小限のデータによる音声クローニング：10秒の音声サンプルから自然なカスタム音声を作成できます。ストリーミングネイティブアーキテクチャ：完全なテキスト入力を受信する前に音声生成を開始します。コンテキスト認識合成：長い文章にわたって一貫したトーンとスタイルを維持します。Sonicは、最小限の運用オーバーヘッドで最速の本番投入を望むチームに推奨されます。APIを呼び出してリアルタイムでストリーミング音声を受信します。
InkはCartesiaのストリーミング音声認識モデルで、会話型AIアプリケーション向けに専用設計されています。ネイティブターン検出：話者がターンを終了した時を自動的に識別し、別個の音声活動検出（VAD）やエンドポインティングモデルなしでぎこちない間を緩和します。コンテキスト認識エンドポインティング：意味理解を使用して、文中の間と真の会話境界を区別します。ストリーミング転写：ユーザーが話すとリアルタイムで部分的な転写を出力し、ダウンストリームの大規模言語モデル（LLM）がターン終了前に応答を形成し始めることができます。ノイズロバスト性：実際の展開で一般的な騒がしい環境でも精度を維持します。マルチスピーカーサポート：重複する音声や話者の切り替えを優雅に処理します。SonicとInkを合わせて、人間のように感じる会話エージェントを構築するために必要な完全な音声AIスタックを提供します。
データ主権、遅延制御、またはコンプライアンスが必要な場合は、Cartesiaモデルを独自のAWSアカウントに直接デプロイできます。SonicはAWS Marketplace経由でAmazon SageMaker AIモデルパッケージとして提供され、完全に仮想プライベートクラウド（VPC）内で実行されるSageMaker AIエンドポイントにデプロイします。推論データはアカウントから離れません。このセクションのデプロイパターンはSonicを対象としています。Inkは現在Cartesia APIを通じて利用可能で、AWS MarketplaceのCartesia Voice AI Platformリスティングを通じて購入できます。Sonicには2つの主要なパターンがあります。
オプション1：Amazon SageMaker AI（AWS Marketplaceモデルパッケージ）。Amazon SageMaker AIにデプロイすることは、管理されたVPC内Sonicエンドポイントへの最速の道です。SonicはAWS Marketplaceモデルパッケージとして出荷されるため、アカウントにAWSリージョン固有のモデルパッケージARNを付与する1回限りのサブスクリプションステップがあります。次に、そのARNからSageMaker AIエンドポイントを作成します。コンソールまたはSageMakerまたはBoto3 SDKを使用して行います。以下のステップはCartesiaの公式デプロイノートブックに従います。
前提条件：Amazon SageMaker NotebookインスタンスまたはSageMaker Studioから実行します。AWS Identity and Access Management（IAM）実行ロールにはAmazonSageMakerFullAccessが必要です。サブスクライブするには、ロール（およびユーザー）にaws-marketplace:Subscribe、aws-marketplace:Unsubscribe、およびaws-marketplace:ViewSubscriptionsが必要です。そうでない場合、アカウントはすでにリスティングにサブスクライブしている必要があります。デプロイ前に、モデルパッケージのSupportedRealtimeInferenceInstanceTypesフィールドからサポートされているインスタンスタイプを選択します：ml.g6e.xlarge以上、ml.g7e.2xlarge以上、ml.g7.2xlarge以上、ml.p5.48xlarge、ml.p5en.48xlarge。選択したインスタンスタイプの適用値が現在の使用量と計画されたエンドポイントインスタンス数を下回る場合、サービス配额の増加をリクエストする必要があるかもしれません。詳細についてはSageMaker AIの配额を参照してください。
Sonic 3.6をSageMakerエンドポイントにデプロイする。Amazon SageMaker JumpStartでは、AWS Marketplaceモデルパッケージをサブスクライブし、SageMakerモデルを作成し、リアルタイムエンドポイントでホストできます。次の4つのステップでデプロイパスを示します。SageMaker AIで、AWS Marketplaceリソースを開き、すべての製品を選択します。Sonic 3.6 SageMakerを検索し、Cartesiaリスティングを選択します。購入オプションを表示を選択し、価格と条件を確認してサブスクライブします。サブスクリプションはAWSアカウントにモデルパッケージへのアクセスを付与しますが、リソースはデプロイしません。デプロイと推論 > デプロイ可能なモデルを開き、モデルの作成を選択し、AWS Marketplaceからのモデルパッケージサブスクリプションを使用を選択し、Sonic 3.6 SageMakerを選択します。実行ロールを選択し、モデルを作成します。モデルからリアルタイムエンドポイントをサポートされているGPUインスタンス（例：ml.g6e.2xlarge）で作成します。エンドポイントは最初に作成中ステータスで表示されます。InServiceになるまで待ってから呼び出します。モデルパッケージARNはリージョン固有です。米国東部（バージニア北部）でSageMaker APIを使用してSonic 3.6パッケージを確認するには、次を実行します：export MODEL_PACKAGE_ARN="arn:aws:sagemaker:us-east-1:865070037744:model-package/sonic36-sagemaker-v0-c6e9cacffcdf31178d1bd7c98c587480" aws sagemaker describe-model-package --model-package-name "$MODEL_PACKAGE_ARN" --region us-east-1 --query '{Status:ModelPackageStatus,ProductId:InferenceSpecification.Containers[0].ProductId,InstanceTypes:InferenceSpecification.SupportedRealtimeInferenceInstanceTypes}'。エンドポイントがInServiceに達したら、SageMaker Runtime InvokeEndpointWithResponseStream APIで呼び出し、返された音声ストリームをアプリケーションで処理します。
オプション2：EC2 GPUインスタンスでの自己管理。一部のチームは既存のGPUインフラストラクチャ、厳格なネットワーク要件、またはCartesiaを他のサービスとコロケーションする必要があります。これらの場合、Amazon Elastic Compute Cloud（Amazon EC2）GPUインスタンス上でモデルコンテナを自分で実行できます。これにより、ランタイム、スケーリング、ネットワークパスを完全に制御できます。AWS Marketplaceモデルパッケージではなく、Cartesiaから取得したコンテナイメージを使用します。
コンテナイメージを取得します。Sonicコンテナイメージとライセンス条件をCartesiaにリクエストします。それを独自のプライベートAmazon Elastic Container Registry（Amazon ECR）リポジトリにレプリケートして、コンピュートプレーンが大規模に外部レジストリにアクセスするのではなく、IAMスコープの資格情報でプルできるようにします。GPUインスタンスファミリーを選択します。SonicはNVIDIA GPUインスタンスで実行されます。G6（L4）およびG6e（L40S）ファミリーはリアルタイムTTSの最適なバランスです。以前のG5（A10G）も機能します。GPUメモリとvCPUをターゲット同時実行数に合わせ、モデルレプリカごとに単一GPUインスタンスを優先してスケーリングを簡素化します。
コンピュートプレーン（Amazon Elastic Container Service（Amazon ECS）またはAmazon Elastic Kubernetes Service（Amazon EKS））をプロビジョニングします。ECSの場合：GPUタスク定義を登録し（コンテナのGPUリソース要件を設定、例えばresourceRequirementsタイプGPU）、Application Load Balancerの背後でサービスとして実行します。EKSの場合：EKS GPU最適化AMIを使用してGPUノードグループ（またはKarpenterプロビジョナー）を作成し、NVIDIAデバイスプラグインをインストールし、コンテナをService/IngressでフロントされたDeploymentとしてデプロイします。
低遅延のためのネットワークを構成します。推論ノードをクラスタプレースメントグループに配置してノード間遅延を最小化し、レプリカを単一のアベイラビリティーゾーンに保って最短パスを確保し、ECR/S3プルにはVPCエンドポイントを使用します。ハイブリッドまたはオンプレミスの呼び出し元の場合、AWS Direct ConnectまたはプライベートNetwork Load Balancerを介してトラフィックを終了し、パブリックインターネットホップを回避します。モデルの重みを効率的にロードします。モデルの重みを共有の低遅延ボリュームに保存します（Amazon……