通過數據捕獲、Hugging Face、NVMe 和 Route 53 集成增強 Amazon SageMaker HyperPod 上的企業推理能力

隨着企業擴展生成式 AI 工作負載，對更快、更可觀測、更靈活的推理基礎設施的需求持續增長。Amazon SageMaker HyperPod 通過一系列新功能來應對這一挑戰，旨在簡化組織在生產環境中部署和運行大模型的方式。團隊現在可以在推理路徑的多個點記錄輸入和輸出：從端點、負載均衡器到模型 pod 本身。通過聲明式自定義資源定義 (CRD) 配置，這提供了深度可觀測性和可審計性。您還可以直接從流行的社區中心部署模型，無需在對象或文件存儲中預置權重，並內置支持門控訪問、版本固定和令牌隔離，兼容 vLLM、TGI 和 SGLang 等領先推理運行時。

除了部署之外，這些增強還帶來了顯著的性能和安全性提升。從節點本地 NVMe 存儲加載權重可減少冷啓動延遲，並在需要時自動回退到雲存儲。HyperPod 自動為您管理自定義域名 DNS 記錄，而細粒度的 pod 級 AWS Identity and Access Management (IAM) 權限使基礎設施團隊能夠精細控制安全邊界。這些功能共同在 HyperPod 上創造了更高效、更安全、更企業級的推理體驗。團隊可以更快地交付 AI 應用程序，而不會影響治理或運營可見性。

推理數據捕獲是本次更新的關鍵功能之一。它支持在推理請求流經 SageMaker AI 端點、Application Load Balancer 和模型 pod 時，獨立地控制和配置每個層級的數據捕獲。這為您提供了靈活性，可根據用例選擇適當的可見性深度。數據捕獲分為三個層級：第一層在 SageMaker AI Runtime API 邊界捕獲完整輸入和輸出負載，需要註冊端點，適合與 SageMaker AI Model Monitor 兼容的場景；第二層啓用 Application Load Balancer 訪問日誌，捕獲請求元數據，例如客户端 IP、請求路徑和延遲；第三層在推理容器處捕獲完整輸入和輸出負載，支持可配置的採樣、緩衝和負載大小限制，無需註冊端點，適合需要最接近模型的深度可見性。您可以根據需要啓用任意組合。

配置數據捕獲時，您可以在 InferenceEndpointConfig 或 JumpStartModel CRD 中添加 dataCapture 部分。您可以指定 S3 URI、採樣百分比、AWS KMS 密鑰加密、捕獲選項（輸入或輸出）以及緩衝和負載大小配置。所有層級都寫入您的 Amazon S3 存儲桶，如果未指定 s3Uri，系統默認使用 TLS 證書存儲桶下的 /data-capture/ 前綴。每個部署根據集羣 ARN、命名空間、CRD 類型和部署名稱的哈希值獲得唯一路徑，同一部署的多次 CRD 提交會流入同一 S3 子文件夾。

對於 Hugging Face 模型源，HyperPod 支持直接從 Hugging Face Hub 部署模型，無需預置到 Amazon S3 或 FSx。此源支持通過 tokenSecretRef 進行門控模型訪問、通過 commitSHA 進行版本固定以及令牌隔離。兼容 vLLM、TGI 和 SGLang 運行時。部署時，您需要提供有效的 modelId、Hugging Face 令牌的 Kubernetes Secret 以及帶有權重下載卷掛載的 GPU 工作節點。您可以通過 kubectl 命令創建 Secret、設置端點名稱並應用 YAML 文件。部署狀態可通過 Kubernetes 事件和 describe 命令進行檢查，最後通過 SageMaker Runtime invoke-endpoint 命令測試端點。

Route 53 DNS 管理功能允許您自動創建和管理自定義域名的 DNS 記錄。通過在 CRD 中指定託管區域 ID，Operator 會處理您自定義域名的記錄創建、更新和清理。前提條件包括一個處於 Issued 狀態的 AWS Certificate Manager (ACM) 證書以及一個 Route 53 託管區域。您需要向推理 Operator 執行角色添加 ACM、S3 和 Route 53 權限。配置時，在模型部署 YAML 中添加 tlsConfig 和 dnsConfig 部分，指定 ACM ARN、域名、TLS 證書輸出 S3 URI 和託管區域 ID。域名必須與 ACM 證書中的域名匹配。您可以通過 kubectl describe 命令查看 DNS 狀態，包括記錄名稱、託管區域 ID 和 DNS 健康狀態。

此外，HyperPod 還提供了 pod 級 IAM 功能，通過自定義服務賬户實現細粒度的安全控制。這些功能共同構建了一個更企業就緒的推理平台，使團隊能夠在保持治理和運營可見性的同時，更快地交付 AI 應用。