跳到主要内容
AI News HubLIVE
站内改写5 分钟阅读

Amazon SageMaker HyperPod Inference 现已支持托管 NVIDIA Dynamo

文章摘要

Amazon SageMaker HyperPod Inference 新增对 NVIDIA Dynamo 的支持,提供多节点与分离式推理、KV 感知路由和自动故障恢复,让团队无需自建编排层即可跨多节点服务大模型。

来源AWS Machine Learning Blog作者: Vinay Arora
Amazon SageMaker HyperPod Inference 现已支持托管 NVIDIA Dynamo
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

高效服务大型语言模型(LLM)需要足够的 GPU 内存,并仔细协调提示处理与令牌生成。例如,GLM-5.3 的 FP8 权重超过单个 ml.p5.48xlarge 实例的 640 GB GPU 内存,这还未计入 KV 缓存和运行时开销。当长提示与令牌生成共享同一组 GPU 时,长提示也可能拖慢令牌生成。

Amazon SageMaker HyperPod Inference 现在支持 NVIDIA Dynamo,将 Dynamo 的分布式推理能力与 HyperPod 的基础设施管理相结合,以应对这些挑战。Dynamo 是一个开源分布式推理框架,支持多节点部署、分离式预填充与解码,以及基于 vLLM、SGLang 和 TensorRT-LLM 等引擎的 KV 感知路由。HyperPod 通过高性能 Elastic Fabric Adapter(EFA)网络、协调的 GPU 调度以及节点健康监控与恢复来支持这些部署。本文将用一个部署示例说明多节点与分离式服务,分享基准测试结果,并概述在 HyperPod 上优化推理的最佳实践。

集成工作原理

HyperPod Inference 附加组件会安装 Dynamo 自定义资源定义(CRD)以及以下服务和调度组件:

HyperPod Inference Operator 通过 InferenceEndpointConfig(IEC)自定义资源管理端点部署。其 dynamoSpec 部分提供 Dynamo 配置。

Dynamo operator 管理 DynamoGraphDeployment(DGD)中定义的资源,包括前端、模型工作节点、副本数和资源需求。

Grove 协调相关的 Pod 组,包括多节点工作节点及其扩缩关系。

Kubernetes AI(KAI)Scheduler 将 Pod 放置到 GPU 资源上,使用 gang scheduling 将多节点工作节点所需的 Pod 一起调度。

AWS Deep Learning Containers(DLC)提供 Dynamo 运行时,附加组件负责管理集成组件的版本。要采用受支持的 Dynamo 版本,请更新附加组件。

部署架构

下图展示了 SageMaker HyperPod 上分离式推理的部署路径、服务组件和基础设施管理。Dynamo 前端将请求路由到处理提示的预填充工作节点和生成令牌的解码工作节点。这些独立的资源池允许独立扩缩和调优。两个池都加载完整的模型权重,KV 缓存通过 EFA 在它们之间传输。

Dynamo 也支持聚合式服务,即预填充和解码在同一工作节点中运行。无论哪种拓扑,工作节点都可以在单个实例上运行,或使用张量并行和流水线并行跨多个实例运行。Dynamo 的 KV 感知路由器在两种拓扑中都会考虑可复用的前缀 KV 缓存和活动工作节点负载。前缀复用可以减少提示重复计算并改善首令牌时间,而负载感知有助于避免工作节点过载。有关 Dynamo 架构的更多详细信息,请参阅 Dynamo 知识库概述。

HyperPod 提供节点、GPU 和 EFA 健康监控并管理节点替换,而编排组件会重建受影响的工作节点。通过 InferenceEndpointConfig 配置并带有 dynamoSpec 的部署支持通过 SageMaker 端点进行调用。

图 1:Amazon SageMaker HyperPod Inference 上 NVIDIA Dynamo 的部署路径、服务组件和基础设施管理

两种配置部署的方式

无论您是刚接触 HyperPod、刚接触 Dynamo,还是两者都是新手,附加组件都提供两种部署路径来适配您的工作流程:

自带 DynamoGraphDeployment(DGD) 让现有 Dynamo 用户继续使用上游文档、配方和清单,由 Dynamo operator 管理部署。要将现有 DGD 带到 HyperPod,请使用受支持的容器镜像,并为您的集群配置存储、网络和 Pod 放置。

带 dynamoSpec 的 InferenceEndpointConfig 让现有 HyperPod Inference 用户使用他们已经熟悉的相同配置格式和 OpenAI 兼容接口部署新的 Dynamo 端点。对于推理引擎,您可以选择 vLLM、SGLang 或 TensorRT-LLM,默认使用 vLLM。Operator 还会为 KV 感知路由和副本数提供默认值。

两种路径都支持单实例和多节点部署。无论哪种情况,HyperPod 都会管理节点健康和替换。下表总结了每种路径的职责。

自带 DGD 带 dynamoSpec 的 IEC

您编写 完整的 DGD 清单 包含 dynamoSpec 的 IEC

最适合 希望直接控制服务图或复用现有 DGD 的团队 希望通过 IEC 进行托管端点设置的团队

模型权重 您配置下载或挂载权重 Operator 从 Amazon Simple Storage Service(Amazon S3)或 Amazon FSx 暂存权重

端点、TLS、注册 您配置和管理这些资源 通过 HyperPod Inference Operator 管理

自动扩缩 您配置和管理扩缩 通过 autoScalingSpec 使用 Kubernetes Event-driven Autoscaling(KEDA),适用于聚合式和分离式部署

部署示例:GLM-5.3

以下摘录使用 InferenceEndpointConfig(IEC)部署路径,在 ml.p5.48xlarge 实例上使用 vLLM。Dynamo 特定设置位于 spec.dynamoSpec 下。模型来源和端点设置包含在完整清单中。

多节点聚合式服务

此配置跨两个实例(16 个 GPU)运行一个模型工作节点副本,并使用两个前端副本处理请求。将 dynamoSpec.frontend.routingMode 设置为 kv-aware 可开启 KV 感知路由。

spec: replicas: 1 dynamoSpec: modelServer: vllm frontend: replicas: 2 routingMode: kv-aware aggregation: nodesPerReplica: 2 tensorParallelism: 16

这里,spec.replicas 控制模型工作节点副本数,而 frontend.replicas 控制前端副本数。

多节点分离式服务

将 spec.dynamoSpec 下的 aggregation 替换为以下 disaggregation 块,保留前面的前端配置。预填充和解码的副本数分别设置。此示例运行一个预填充副本和两个解码副本,每个副本跨两个实例,总共六个实例。

disaggregation: prefill: nodesPerReplica: 2 tensorParallelism: 16 replicas: 1 decode: nodesPerReplica: 2 tensorParallelism: 16 replicas: 2

应用部署

使用 kubectl apply 应用完整清单。HyperPod Inference Operator 使配置的模型权重可供工作节点使用,并生成 DGD。Grove 和 KAI Scheduler 协调放置,以便每个多节点工作节点所需的 Pod 一起调度。

在 SageMaker 端点就绪并配置为聊天补全后,客户端可以通过 SageMaker Runtime API 发送 OpenAI 兼容的请求负载:

aws sagemaker-runtime invoke-endpoint \ --endpoint-name glm53 \ --content-type application/json \ --body '{"model":"zai-org/GLM-5.3","messages":[{"role":"user","content":"Hello"}],"max_tokens":128}' \ --cli-binary-format raw-in-base64-out \ out.json

基准测试

我们在 SageMaker HyperPod 上针对两个模型对 Dynamo 进行了基准测试,以比较服务配置。

Qwen3-235B 的分离式预填充和解码

我们使用 AIPerf 比较了 Qwen3-235B-A22B-FP8 在 Dynamo 与 TensorRT-LLM 下的聚合式与分离式服务,测试环境为两个 p5en.48xlarge 实例(16 个 H200 GPU)。请求包含 4,000 个输入令牌和 200 个输出令牌。我们保留了满足两个目标的测量点:P90 首令牌时间低于 1 秒,且每用户中位生成速度至少为每秒 50 个令牌。在这些点中,分离式服务实现了最高聚合吞吐量的 2.05 倍:在并发度分别为 80 和 32 时,每 GPU 输出令牌数分别为 207 和 101。

图 2:Qwen3-235B-A22B-FP8 的聚合式与分离式服务吞吐量对比

Qwen3.5-397B 的多节点聚合式服务

Dynamo 在聚合式和分离式模式下都支持多节点服务,适用于超出单实例 GPU 内存的模型。为了评估跨节点的工作节点,我们使用 AIPerf 对 Qwen3.5-397B-A17B-FP8 在 Dynamo 与 vLLM 下的多节点聚合式服务进行基准测试,使用 TP4 × PP2 和八个活动 H200 GPU。该模型可以放在一个实例上,因此实际上您不会拆分它。这里它作为受控基线。我们比较了单个 p5en.48xlarge 上的八个 GPU 与两个实例上各四个 GPU,使用相同的模型、并行度和工作负载配置。在并发度为 32、具有高前缀复用的智能体工作负载下,双节点配置每 GPU 输出 126.4 个令牌/秒,保留了单节点吞吐量的 99.1%。这表明 SageMaker HyperPod 上的 Dynamo 可以服务需要多个实例的模型。节点边界本身不会成为显著的吞吐量惩罚。

图 3:Qwen3.5-397B-A17B-FP8 多节点聚合式服务的单节点与双节点吞吐量对比

优化推理的最佳实践

NVIDIA Dynamo 提供配方和工具,帮助您选择服务配置、基准测试性能并在 SageMaker HyperPod 上调优部署。

从匹配的配方开始 – 为您的模型、推理引擎和 GPU 类型选择 Dynamo 配方。在确定工作节点规模时,考虑模型权重、KV 缓存和运行时内存。对于受支持的配置,AISimulate 可以帮助比较聚合式和分离式服务、选择并行度,以及在 GPU 上测试之前确定预填充和解码工作节点池的规模。

基准测试前验证通信 – 对于跨实例的部署,确认通信使用预期的 EFA 传输,包括预填充和解码工作节点之间的 KV 缓存传输。请参阅 Dynamo EFA 指南。

基准测试代表性流量 – 使用 AIPerf 重放您的流量,或使用生成的智能体轨迹,其中包含代表性的提示长度、输出长度和前缀复用。针对每种配置扫描并发度,保留满足您 SLA 的点,并根据成本和延迟优先级进行选择。

根据测量的瓶颈进行调优 – 在调整引擎设置之前,先调整拓扑和工作节点分配,每次只改变一个变量。遵循性能调优指南,或使用 Dynamo 优化代理技能来协助基准测试和调优。在目标 HyperPod 部署上验证每个候选配置。

结论

SageMaker HyperPod Inference 上的 NVIDIA Dynamo 通过多节点服务、分离式预填充和解码以及 KV 感知路由,简化了大型模型的部署和运维。托管附加组件安装服务组件,配置默认值简化了端点设置。HyperPod 管理模型权重、根据 GPU 和推理指标自动扩缩集群、监控节点健康并替换故障节点。这些能力共同减少了无差异的基础设施工作,使团队能够专注于模型和应用。请通过链接仓库中的设置说明和完整部署示例开始使用。

致谢

作者感谢 NVIDIA 的 Eliuth Triana、Felipe Garcia、Sanjana Checker、Junyuan Yang、Jiahong Liu、Anish Maddipoti、Jacob Kern 和 Abdullahi Olaoye 对本文的贡献。我们还感谢 AWS 的 Can Sun、Ophelia Yang、Aryaman Kothari、David Oh 和 Ayush Kumar 的贡献。

关于作者

展开要点与分析

文章情报

工程师进阶

要点

  • HyperPod Inference 附加组件安装 Dynamo CRD 及服务组件,包括 Inference Operator、Dynamo Operator、Grove 和 KAI Scheduler。
  • 支持两种部署路径:自带 DynamoGraphDeployment(DGD)或使用带 dynamoSpec 的 InferenceEndpointConfig(IEC)。
  • 基准测试显示,针对 Qwen3-235B,分离式服务相比聚合式服务吞吐量提升 2.05 倍;跨两节点的多节点聚合服务保留了单节点吞吐量的 99.1%。
  • HyperPod 负责节点健康监控、故障替换、EFA 网络和 GPU 调度,减少无差异的基础设施工作。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。