透過資料捕獲、Hugging Face、NVMe 和 Route 53 整合增強 Amazon SageMaker HyperPod 上的企業推理能力

隨著企業擴充套件生成式 AI 工作負載，對更快、更可觀測、更靈活的推理基礎設施的需求持續增長。Amazon SageMaker HyperPod 透過一系列新功能來應對這一挑戰，旨在簡化組織在生產環境中部署和執行大模型的方式。團隊現在可以在推理路徑的多個點記錄輸入和輸出：從端點、負載均衡器到模型 pod 本身。透過宣告式自定義資源定義 (CRD) 配置，這提供了深度可觀測性和可審計性。您還可以直接從流行的社群中心部署模型，無需在物件或檔案儲存中預置權重，並內建支援門控訪問、版本固定和令牌隔離，相容 vLLM、TGI 和 SGLang 等領先推理執行時。

除了部署之外，這些增強還帶來了顯著的效能和安全性提升。從節點本地 NVMe 儲存載入權重可減少冷啟動延遲，並在需要時自動回退到雲端儲存。HyperPod 自動為您管理自定義域名 DNS 記錄，而細粒度的 pod 級 AWS Identity and Access Management (IAM) 許可權使基礎設施團隊能夠精細控制安全邊界。這些功能共同在 HyperPod 上創造了更高效、更安全、更企業級的推理體驗。團隊可以更快地交付 AI 應用程式，而不會影響治理或運營可見性。

推理資料捕獲是本次更新的關鍵功能之一。它支援在推理請求流經 SageMaker AI 端點、Application Load Balancer 和模型 pod 時，獨立地控制和配置每個層級的資料捕獲。這為您提供了靈活性，可根據用例選擇適當的可見性深度。資料捕獲分為三個層級：第一層在 SageMaker AI Runtime API 邊界捕獲完整輸入和輸出負載，需要註冊端點，適合與 SageMaker AI Model Monitor 相容的場景；第二層啟用 Application Load Balancer 訪問日誌，捕獲請求後設資料，例如客戶端 IP、請求路徑和延遲；第三層在推理容器處捕獲完整輸入和輸出負載，支援可配置的取樣、緩衝和負載大小限制，無需註冊端點，適合需要最接近模型的深度可見性。您可以根據需要啟用任意組合。

配置資料捕獲時，您可以在 InferenceEndpointConfig 或 JumpStartModel CRD 中新增 dataCapture 部分。您可以指定 S3 URI、取樣百分比、AWS KMS 金鑰加密、捕獲選項（輸入或輸出）以及緩衝和負載大小配置。所有層級都寫入您的 Amazon S3 儲存桶，如果未指定 s3Uri，系統預設使用 TLS 證書儲存桶下的 /data-capture/ 字首。每個部署根據叢集 ARN、名稱空間、CRD 型別和部署名稱的雜湊值獲得唯一路徑，同一部署的多次 CRD 提交會流入同一 S3 子資料夾。

對於 Hugging Face 模型源，HyperPod 支援直接從 Hugging Face Hub 部署模型，無需預置到 Amazon S3 或 FSx。此源支援透過 tokenSecretRef 進行門控模型訪問、透過 commitSHA 進行版本固定以及令牌隔離。相容 vLLM、TGI 和 SGLang 執行時。部署時，您需要提供有效的 modelId、Hugging Face 令牌的 Kubernetes Secret 以及帶有權重下載卷掛載的 GPU 工作節點。您可以透過 kubectl 命令建立 Secret、設定端點名稱並應用 YAML 檔案。部署狀態可透過 Kubernetes 事件和 describe 命令進行檢查，最後透過 SageMaker Runtime invoke-endpoint 命令測試端點。

Route 53 DNS 管理功能允許您自動建立和管理自定義域名的 DNS 記錄。透過在 CRD 中指定託管區域 ID，Operator 會處理您自定義域名的記錄建立、更新和清理。前提條件包括一個處於 Issued 狀態的 AWS Certificate Manager (ACM) 證書以及一個 Route 53 託管區域。您需要向推理 Operator 執行角色新增 ACM、S3 和 Route 53 許可權。配置時，在模型部署 YAML 中新增 tlsConfig 和 dnsConfig 部分，指定 ACM ARN、域名、TLS 證書輸出 S3 URI 和託管區域 ID。域名必須與 ACM 證書中的域名匹配。您可以透過 kubectl describe 命令檢視 DNS 狀態，包括記錄名稱、託管區域 ID 和 DNS 健康狀態。

此外，HyperPod 還提供了 pod 級 IAM 功能，透過自定義服務賬戶實現細粒度的安全控制。這些功能共同構建了一個更企業就緒的推理平臺，使團隊能夠在保持治理和運營可見性的同時，更快地交付 AI 應用。