隨着各類企業採用基於GPU的機器學習訓練、微調和推理工作負載，對GPU容量的需求已超過行業供應。這一不平衡使GPU成為稀缺資源，給需要可靠GPU計算資源的客户帶來挑戰。
當遇到GPU容量限制時，您可能會考慮創建按需容量預留（ODCR）。但ODCR適用於有計劃的穩定工作負載，且GPU實例的短期ODCR可用性有限，尤其是P型實例。此外，無長期合同時，ODCR按需計費，無成本優勢。因此，ODCR不適合測試、評估或活動等短期探索性工作負載。
本文介紹如何使用Amazon EC2 Capacity Blocks for ML和Amazon SageMaker訓練計劃為短期工作負載預留GPU容量，解決負載測試、模型驗證、限時研討會或發佈前準備推理容量時的GPU可用性問題。
短期GPU選項概覽
在AWS上獲取短期GPU容量有多種方式：
- 按需GPU實例：立即使用，無需預先承諾，但容量取決於區域供應和需求，可用性可能快速變化。適合可容忍啓動延遲或時間靈活的工作負載。
- Spot GPU實例：最多可節省90%成本，但可能被中斷，適合可設置檢查點並重啓的ML工作負載。
- Amazon EC2 Capacity Blocks for ML：在特定時間窗口預留GPU容量，完全自助服務，提供40-50%折扣。可提前8周預留，持續時間1-14天（以1天為增量）或15-182天（以7天為增量），每個Capacity Block最多64個實例，組織內跨賬户最多256個實例。僅支持特定實例系列（如P5、Trn1、Trn2），不能用於SageMaker託管實例。
- Amazon SageMaker訓練計劃：在SageMaker AI託管環境中預留GPU容量，適用於訓練作業、HyperPod集羣和推理。價格低於按需70-75%，需預付。不能與EC2 Capacity Blocks互換。
決策框架
選擇短期GPU策略時，需評估三個關鍵因素：可用性、成本模型和工作負載環境。建議從最寬鬆的選項開始，逐步轉向預留容量。
成本考慮
Capacity Blocks預付費用，小時費率比按需低40-50%。例如在美國東部（弗吉尼亞北部），p5.48xlarge使用Capacity Blocks為34.608美元/小時，按需為55.04美元/小時。SageMaker訓練計劃預付，價格比按需低70-75%。AWS會根據供需趨勢定期更新價格，您以預訂時的價格支付，即使計劃稍後開始。如果實例未持續運行，預留總成本可能超過按需成本，需根據實際運行需求評估。
實施示例：使用SageMaker訓練計劃預留推理容量
前提條件：具有適當IAM權限的AWS賬户、已創建的SageMaker模型資源、AWS CLI 2.0+。步驟包括：
- 創建訓練計劃：在SageMaker AI控制台選擇“訓練計劃”，創建新計劃，指定日期、持續時間（例如1天）、實例類型和數量（例如1個ml.trn1.32xlarge用於推理端點）。
- 支付：計劃進入待處理狀態，預付全額後變為已調度，開始日期變為活動狀態。
- 創建端點配置：使用AWS CLI命令指定容量預留ARN。
- 部署端點：基於配置創建端點。
- 驗證狀態：檢查端點狀態和容量預留狀態。
- 清理資源：刪除端點和配置以避免持續費用。
結論
為短暫工作負載獲取GPU容量需要與長期規劃不同的方法。從按需開始，在需要確定性時使用Capacity Blocks或SageMaker訓練計劃預留容量。這些能力有助於減少計劃內評估、發佈或預期流量增長時的運營摩擦。另外，對於生產部署或大規模活動，建議至少提前三週規劃，並與AWS賬户團隊合作。