様々な規模の企業がGPUベースの機械学習トレーニング、ファインチューニング、推論ワークロードを採用するにつれ、GPU容量の需要が業界全体の供給を上回っています。この不均衡によりGPUは希少なリソースとなり、MLワークロードに信頼性の高いGPUコンピューティングリソースを必要とする顧客にとって課題が生じています。
GPU容量の制限に直面した場合、オンデマンド容量予約（ODCR）の作成を検討するかもしれません。しかし、ODCRは計画済みで使用パターンが明確な定常ワークロードを対象としており、GPUインスタンス（特にPタイプ）の短期ODCR利用可能性は限られています。また、長期契約がない場合、ODCRはオンデマンド料金で請求され、コスト面でメリットがありません。そのため、テスト、評価、イベントなどの短期または探索的ワークロードには適していません。
この記事では、Amazon EC2 Capacity Blocks for MLとAmazon SageMakerトレーニングプランを使用して、短期ワークロード向けに予約GPU容量を確保する方法を説明します。これらのソリューションは、負荷テスト、モデル検証、期間限定ワークショップ、リリース前の推論容量準備などで短期容量が必要な場合に、GPUの可用性課題に対処できます。
短期GPUオプションの概要
AWSで短期GPU容量にアクセスする方法はいくつかあります：
- オンデマンドGPUインスタンス：事前コミットメントなしで即座に使用可能。ただし、リージョンの供給と需要に依存し、可用性は急速に変化します。起動遅延を許容できるワークロードや柔軟なタイミングに適しています。
- スポットGPUインスタンス：最大90%のコスト削減が可能ですが、中断される可能性があります。チェックポイントと再起動が可能なMLワークロードに適しています。
- Amazon EC2 Capacity Blocks for ML：特定の時間枠でGPU容量を予約。完全セルフサービスで、40-50%の割引料金を提供。最大8週間前から予約可能、期間は1～14日（1日単位）または15～182日（7日単位）、ブロックあたり最大64インスタンス、組織内で複数アカウントにまたがって最大256インスタンス。特定のインスタンスファミリー（P5、Trn1、Trn2）のみサポートし、SageMaker管理インスタンスには使用不可。
- Amazon SageMakerトレーニングプラン：SageMaker AI管理環境でGPU容量を予約。トレーニングジョブ、HyperPodクラスター、推論ワークロードに適用。オンデマンド比70-75%割引、前払い。EC2 Capacity Blocksとは交換不可。
意思決定フレームワーク
短期GPU戦略を計画する際は、可用性、コストモデル、ワークロード環境の3つの要素を評価します。最も制約の少ないオプションから始め、可用性やタイミングが重要な場合に予約容量に移行します。
コスト考慮事項
Capacity Blocks for MLは前払いで、時間あたり料金がオンデマンドより40-50%低くなります。例えば米国東部（バージニア北部）では、p5.48xlargeはCapacity Blocksで34.608ドル/時、オンデマンドで55.04ドル/時です。SageMakerトレーニングプランはオンデマンドより70-75%低い料金で前払いです。AWSは需給のトレンドに基づいて定期的に価格を更新し、予約時のレートが適用されます。予約期間中にインスタンスが継続的に稼働しない場合、予約総コストがオンデマンドを超える可能性があるため、実際のランタイムニーズに基づいて評価してください。
実装例：SageMakerトレーニングプランを使用した推論容量の予約
前提条件：適切なIAM権限を持つAWSアカウント、作成済みのSageMakerモデルリソース、AWS CLI 2.0以上。手順：
- トレーニングプランを作成：SageMaker AIコンソールで「トレーニングプラン」を選択し、日付、期間（例：1日）、インスタンスタイプと数（例：推論エンドポイント用に1つのml.trn1.32xlarge）を指定して作成。
- 支払い：プランは保留状態になり、前払い後にスケジュール済み、開始日にアクティブになります。
- エンドポイント設定を作成：AWS CLIコマンドで容量予約ARNを指定。
- エンドポイントをデプロイ：設定に基づいてエンドポイントを作成。
- ステータスを確認：エンドポイントと容量予約のステータスを確認。
- リソースをクリーンアップ：エンドポイントと設定を削除して継続的な費用を回避。
結論
一時的なワークロード向けにGPU容量を確保するには、長期の定常利用とは異なるアプローチが必要です。まずオンデマンドから始め、確実性が必要な場合にCapacity BlocksやSageMakerトレーニングプランで容量を予約します。これらの機能は、計画された評価、リリース、予想されるトラフィック増加に備える際の運用負荷を軽減します。また、本番展開や大規模イベントの場合は、少なくとも3週間前から計画を開始し、AWSアカウントチームと協力することをお勧めします。