本文にスキップ
AI News HubLIVE
サイト内リライト5 分で読了

AssemblyAI、Amazon EC2 Spotで音声認識推論のコストを最適化

記事の要約

AssemblyAIはAWS上でAmazon ECS、EC2 Spot GPUインスタンス、SQSベースのリトライアーキテクチャを活用し、SLAを維持しながら音声認識推論コストを70%削減。欧州リージョンでのデータレジデンシー要件にも対応。

ソースAWS Machine Learning Blog著者: Belair Albahagwi
AssemblyAI、Amazon EC2 Spotで音声認識推論のコストを最適化
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

音声認識推論は計算負荷が高い処理です。各音声ファイルは、NVIDIA GPU上で実行される深層学習モデルのパイプライン(音響モデル、言語モデル、後処理ステージ)をトリガーし、遅延要件を満たす必要があります。大規模になると、数千のGPUインスタンスが継続的に稼働することになります。AssemblyAIは、顧客が依存する可用性と遅延保証を犠牲にすることなく、GPU集約型推論ワークロードを大規模かつコスト効率良く実行する方法を必要としていました。オンデマンドインスタンスのみではコストが高すぎ、Spotインスタンスは大幅なコスト削減を提供しますが、Amazon EC2は容量が必要になると2分前の警告でそれらを回収することがあります。AssemblyAIは、Spotの中断を優雅に吸収しつつSLAコミットメントを維持するアーキテクチャを必要としていました。さらに、医療、金融、法務などの規制業界の顧客は、音声データを特定の地理的境界内に保持する必要があります。AssemblyAIは欧州のAWSリージョンで厳格なデータレジデンシー構成を実装しています。

AssemblyAIはAWS Marketplaceで、文字起こし、話者検出、感情分析、チャプター検出、個人識別情報(PII)の秘匿化などのAPIを提供しています。同社のモデルは、テクノロジー、メディア、医療、金融サービスなどの業界の高ボリュームワークロード向けに音声を文字起こしおよび分析します。この記事では、AssemblyAIがAmazon ECS、Amazon EC2 Spotインスタンス、Amazon SQSを使用して、音声認識プラットフォーム向けに大規模なコスト最適化AI推論をどのように実行しているかを紹介します。これらのサービスを組み合わせることで、柔軟なNVIDIA GPUフリート、ECSキャパシティプロバイダー、キューべースのリトライメカニズムが実現し、欧州のAWSリージョン全体でSLAコミットメントを維持しながら大幅なコスト削減を達成しています。

AssemblyAIの推論プラットフォームはAmazon ECS上で実行され、コンピューティング容量はECSキャパシティプロバイダーを通じて管理されます。フリートは複数のNVIDIA GPUインスタンスファミリーにわたってAmazon EC2 Spotインスタンスとオンデマンドインスタンスを混在させ、GPUあたり1つの推論モデルを数千インスタンスの規模で実行します。アーキテクチャは4つの柱に基づいています。Spotとオンデマンドを混在させるAmazon ECSキャパシティプロバイダー、EC2インスタンスタイプ(g4dn.xlarge、g4dn.2xlarge、g5.xlarge、g5.4xlarge、g6.2xlargeなど)にわたるマルチファミリーGPU Spotの多様化、中断回復のためのAmazon SQSを使用したキューべースのリトライアーキテクチャ、データレジデンシーコンプライアンスのための米国西部(オレゴン)us-west-2および欧州(ロンドン)eu-west-2へのリージョン展開です。

Amazon ECSクラスターは、複数のアベイラビリティーゾーンにわたる仮想プライベートクラウド(VPC)内で実行されます。クラスターは、キューをポーリングして推論ジョブを処理するGPU対応ECSタスクをホストします。各タスクはAmazon S3から音声ファイルを取得し、完了した文字起こしを結果ストアに書き込みます。AssemblyAIはこのストアを設定して、出力をエンド顧客に配信します。Spotインスタンスが中断通知を受信すると、Amazon EventBridgeがSpot中断ハンドラー(AWS Lambda関数)を呼び出します。ハンドラーは進行中のジョブをメインジョブSQSキューに戻し、別の正常なECSタスクがそれを取得できるようにします。顧客は、リトライ回数を使い果たしたジョブを調査用のデッドレターSQSキューにルーティングするようにシステムを設定できます。Amazon CloudWatchメトリクスはフリートの健全性とSpot中断イベントを監視し、システム全体の可観測性を提供します。

信頼性を損なうことなく推論コストを最適化するため、AssemblyAIは各ECSクラスター内の単一のキャパシティプロバイダー戦略に複数のキャパシティプロバイダーを構成しています。オンデマンドキャパシティプロバイダーは常時オンのベースラインとして機能し、Spotキャパシティプロバイダーは需要の急増に対応するために異なるGPUインスタンスファミリーとアベイラビリティーゾーンにまたがります。各キャパシティプロバイダーはAmazon EC2 Auto Scalingグループに関連付けられます。Amazon ECSマネージドスケーリングは、キャパシティプロバイダーの重みと保留中の推論タスクに基づいてGPUインスタンスのスケーリングを自動化します。タスクキューが増加すると、Spotキャパシティプロバイダーは多様化されたプールから追加インスタンスを要求します。需要が減少すると、インスタンスは優雅にスケールインします。Spotのベストプラクティスの1つは、必要な集約コンピューティング容量を取得する可能性を高めるために、幅広いインスタンスタイプに柔軟に対応することです。AssemblyAIのインフラストラクチャは3つのAmazon EC2 GPUインスタンスファミリーにまたがっています。g4dnインスタンス(NVIDIA T4 GPUを搭載し、標準的な音声認識モデルにコスト効率の高いベースラインを提供)、g5インスタンス(NVIDIA A10G GPUを搭載し、より要求の厳しいモデルアーキテクチャに高いスループットを提供)、g6インスタンス(NVIDIA L4 GPUを備え、大規模言語モデルベースの推論を含む大規模モデル向けに向上した価格性能比を提供)です。需要をインスタンスファミリーとサイズに分散させることで、AssemblyAIは利用可能なSpot容量の大幅に大きなプールから引き出します。価格容量最適化割り当て戦略を使用して、Amazon EC2は利用可能な容量が最も多く価格が最も低いSpot容量プールからインスタンスをプロビジョニングし、中断の可能性を低減します。

Spot中断中のサービス品質の維持は中核的な設計要件でした。AssemblyAIはAmazon SQSを使用してジョブの送信を実行から分離します。文字起こしリクエストが到着すると、Amazon SQSキューに入れられます。GPUインスタンス上で実行されるAmazon ECSタスクはキューをポーリングし、ジョブを取得して推論パイプラインを実行します。個々のジョブは通常、音声の長さに応じて15秒から数分かかります。Spotインスタンスが2分間の中断通知を受信すると、リトライフローは次のように機能します。2分間のウィンドウ内で完了できる進行中のジョブは正常に終了します。より多くの時間が必要なジョブはAmazon SQSキューに戻され、他のワーカーがすぐに利用できるようになります。別の正常なGPUインスタンス(場合によっては異なるインスタンスタイプまたはアベイラビリティーゾーン)がメッセージを取得し、推論を完了します。回復時間を短縮するため、AssemblyAIはモデルアーティファクトとコンテナイメージを含むカスタムAmazonマシンイメージ(AMI)を約2分で作成します。エンド顧客にとって、Spot中断の影響は処理時間のわずかな増加ですが、文字起こしは正常に完了し、期待どおりに配信されます。

複数のAWSリージョンで実行することで、AssemblyAIは医療、金融サービス、法務サービスなどの規制業界の顧客をサポートできます。これらの顧客の音声データは特定の地理的境界の外に出てはなりません。各AWSリージョンは完全に独立した推論アーキテクチャのコピーを実行します。独自のAmazon SQSキュー、Amazon ECSクラスター、キャパシティプロバイダー、GPUフリートを持ちます。複数のGPUインスタンスファミリー(g4dn、g5、g6)がこれらの欧州リージョンで利用可能で、競争力のあるSpot価格を提供します。このインスタンスの多様性は、厳格なデータレジデンシー要件を満たしながら、信頼性の高いSpotベースの推論サービスをサポートします。

本番環境でGPUを搭載したAmazon EC2 Spotインスタンスを実行することで、AssemblyAIはオンデマンド価格と比較して推論コンピューティングコストを70%削減しました。プラットフォームのコンピューティング需要が前年比でほぼ4倍に成長する中、Spotベースのアーキテクチャは単位経済性を持続可能に保ちました。この規模で運用することで、AssemblyAIはインスタンスファミリーとサイズにわたる多様化がSpot中断率を最小化する最も効果的なレバーであることを学びました。g4dn、g5、g6ファミリーは独立した容量プールを利用するため、1つのファミリーが容量圧力に直面しても他のファミリーは利用可能です。キューべースのリトライと迅速なウォームアップで初日からフォールトトレランスを設計することで、Spot中断を日常的なイベントに変え、SLAコミットメントを維持します。

同様の特性(GPUコンピューティング上の短命で独立してリトライ可能なジョブ)を持つバッチまたはほぼリアルタイムのAIワークロードを実行するチームは、このパターンを適用できます。まずインスタンスファミリーを多様化し、キューべースのフォールトトレランスを構築して、可用性を損なうことなくコスト効率の高いSpotインフラストラクチャを活用してください。Amazon ECSでのGPUタスクの開始については、Amazon ECS for GPU workloadsを参照してください。ワークロードのSpot可用性を評価するには、Spot placement scores for accelerated computeとAmazon EC2 Spot Instancesのベストプラクティスを調べてください。AssemblyAIの音声認識APIはAWS Marketplaceで利用可能です。プラットフォームの詳細については、assemblyai.comをご覧ください。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • ECSキャパシティプロバイダーでSpotとオンデマンドを混在させ、g4dn、g5、g6のGPUファミリー間でSpotを分散。
  • SQSベースのキューリトライにより、Spot中断されたジョブを自動再スケジュールし、文字起こしの完了を保証。
  • 欧州AWSリージョンに独立した推論アーキテクチャを展開し、規制業界のデータレジデンシー要件を満たす。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。