通过数据捕获、Hugging Face、NVMe 和 Route 53 集成增强 Amazon SageMaker HyperPod 上的企业推理能力

随着企业扩展生成式 AI 工作负载，对更快、更可观测、更灵活的推理基础设施的需求持续增长。Amazon SageMaker HyperPod 通过一系列新功能来应对这一挑战，旨在简化组织在生产环境中部署和运行大模型的方式。团队现在可以在推理路径的多个点记录输入和输出：从端点、负载均衡器到模型 pod 本身。通过声明式自定义资源定义 (CRD) 配置，这提供了深度可观测性和可审计性。您还可以直接从流行的社区中心部署模型，无需在对象或文件存储中预置权重，并内置支持门控访问、版本固定和令牌隔离，兼容 vLLM、TGI 和 SGLang 等领先推理运行时。

除了部署之外，这些增强还带来了显著的性能和安全性提升。从节点本地 NVMe 存储加载权重可减少冷启动延迟，并在需要时自动回退到云存储。HyperPod 自动为您管理自定义域名 DNS 记录，而细粒度的 pod 级 AWS Identity and Access Management (IAM) 权限使基础设施团队能够精细控制安全边界。这些功能共同在 HyperPod 上创造了更高效、更安全、更企业级的推理体验。团队可以更快地交付 AI 应用程序，而不会影响治理或运营可见性。

推理数据捕获是本次更新的关键功能之一。它支持在推理请求流经 SageMaker AI 端点、Application Load Balancer 和模型 pod 时，独立地控制和配置每个层级的数据捕获。这为您提供了灵活性，可根据用例选择适当的可见性深度。数据捕获分为三个层级：第一层在 SageMaker AI Runtime API 边界捕获完整输入和输出负载，需要注册端点，适合与 SageMaker AI Model Monitor 兼容的场景；第二层启用 Application Load Balancer 访问日志，捕获请求元数据，例如客户端 IP、请求路径和延迟；第三层在推理容器处捕获完整输入和输出负载，支持可配置的采样、缓冲和负载大小限制，无需注册端点，适合需要最接近模型的深度可见性。您可以根据需要启用任意组合。

配置数据捕获时，您可以在 InferenceEndpointConfig 或 JumpStartModel CRD 中添加 dataCapture 部分。您可以指定 S3 URI、采样百分比、AWS KMS 密钥加密、捕获选项（输入或输出）以及缓冲和负载大小配置。所有层级都写入您的 Amazon S3 存储桶，如果未指定 s3Uri，系统默认使用 TLS 证书存储桶下的 /data-capture/ 前缀。每个部署根据集群 ARN、命名空间、CRD 类型和部署名称的哈希值获得唯一路径，同一部署的多次 CRD 提交会流入同一 S3 子文件夹。

对于 Hugging Face 模型源，HyperPod 支持直接从 Hugging Face Hub 部署模型，无需预置到 Amazon S3 或 FSx。此源支持通过 tokenSecretRef 进行门控模型访问、通过 commitSHA 进行版本固定以及令牌隔离。兼容 vLLM、TGI 和 SGLang 运行时。部署时，您需要提供有效的 modelId、Hugging Face 令牌的 Kubernetes Secret 以及带有权重下载卷挂载的 GPU 工作节点。您可以通过 kubectl 命令创建 Secret、设置端点名称并应用 YAML 文件。部署状态可通过 Kubernetes 事件和 describe 命令进行检查，最后通过 SageMaker Runtime invoke-endpoint 命令测试端点。

Route 53 DNS 管理功能允许您自动创建和管理自定义域名的 DNS 记录。通过在 CRD 中指定托管区域 ID，Operator 会处理您自定义域名的记录创建、更新和清理。前提条件包括一个处于 Issued 状态的 AWS Certificate Manager (ACM) 证书以及一个 Route 53 托管区域。您需要向推理 Operator 执行角色添加 ACM、S3 和 Route 53 权限。配置时，在模型部署 YAML 中添加 tlsConfig 和 dnsConfig 部分，指定 ACM ARN、域名、TLS 证书输出 S3 URI 和托管区域 ID。域名必须与 ACM 证书中的域名匹配。您可以通过 kubectl describe 命令查看 DNS 状态，包括记录名称、托管区域 ID 和 DNS 健康状态。

此外，HyperPod 还提供了 pod 级 IAM 功能，通过自定义服务账户实现细粒度的安全控制。这些功能共同构建了一个更企业就绪的推理平台，使团队能够在保持治理和运营可见性的同时，更快地交付 AI 应用。