跳到主要内容
AI News HubLIVE
站内改写4 分钟阅读

亚马逊 SageMaker HyperPod 推出全局推理网关:跨区域和集群的单一端点

文章摘要

AWS 发布 SageMaker HyperPod Global Inference Gateway,这是一个托管端点,可以跨多个区域和集群路由推理请求。它根据关键值缓存利用率、队列深度、区域邻近度和错误率对集群进行评分,自动处理故障转移,并通过 AWS PrivateLink 使用 SigV4 和 IAM 进行认证。

来源AWS Machine Learning Blog作者: Dmitry Soldatkin
亚马逊 SageMaker HyperPod 推出全局推理网关:跨区域和集群的单一端点
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

在流量高峰期间,请求可能会在已饱和的 HyperPod 集群上排队,而另一个集群(有时位于另一个 AWS 区域)上的 GPU 却处于空闲状态。你已经为这些容量付费,但请求却无法到达。

为了解决这个问题,AWS 推出了 Amazon SageMaker HyperPod Global Inference Gateway。这是一个 SageMaker 托管的网关,可以在你注册的每个集群之间路由请求,无论这些集群是在同一区域还是跨区域。该网关负责选择集群,并通过 AWS 骨干网传输请求,同时提供自动故障转移以及基于 AWS Signature Version 4 (SigV4) 和 AWS Identity and Access Management (IAM) 的认证。在每个集群内部,现有的 Inference Gateway 继续负责选择最佳的 pod。

背景与挑战

随着模型变得越来越大,用于服务这些模型的 GPU 容量也越来越难获得。为了获得足够的容量,团队通常会将资源分散到更多的集群和区域。

例如,一个团队在两个区域的五个 HyperPod 集群上服务四个模型。如果没有 Inference Gateway,客户端需要跟踪 20 个端点(每个模型在每个集群上有一个端点)。使用 Inference Gateway 后,每个集群只有一个端点,总数减少到五个,但每个客户端仍然需要自己选择集群。这种选择会带来成本:负载不均衡(高峰期请求在一个区域排队,而另一个区域的 GPU 空闲)、手动故障转移(集群故障时,工程师需要更改配置来转移流量)、以及自定义管道(跨区域分布流量意味着需要自行构建和维护负载均衡器、DNS 和跨区域网络)。

关键优势

Global Inference Gateway 帮助你更充分地利用已有的 GPU 容量,同时减少运维负担。它可以将请求溢出到同一区域或另一区域中有可用容量的集群,而不是在饱和的集群上排队;当集群发生故障时,网关会自动将流量转移到次优集群,客户端无需任何更改;客户端只需调用一个 SageMaker 托管端点,而无需跟踪每个集群或每个模型的多个端点;你不需要构建或维护负载均衡器、DNS 或跨区域网络;每个请求都通过 SigV4 和 IAM 进行认证,并且仅通过 AWS PrivateLink 到达你的集群,默认保持私有。

客户反馈

Bagelcode 的 AI 平台副总裁 Jinhyung Park 表示:“在 Bagelcode,我们在 AWS 上运行自己的 LLM 推理服务,帮助公司内的团队(包括游戏团队)利用 AI 改进工作方式。在测试中,Amazon SageMaker HyperPod 中的 Global Inference Gateway 通过单一端点跨两个 AWS 区域路由请求,并在一个集群无法再服务模型时继续提供服务。这为我们小型平台团队提供了跨区域故障转移能力,而无需构建或维护自己的路由层。”

工作原理

设置网关需要两个决策:哪些集群开放用于路由,以及哪些集群分组在一个网关后面。

发布集群:每个集群只需执行一次。在集群现有的 InferenceGatewayConfig 中启用 spec.globalRouting 块。随后,HyperPod Inference 控制器会从你的账户中私有地发布该集群。发布集群时,控制器会在集群的 Inference Gateway 前面创建一个网络负载均衡器,在其上发布一个 VPC 端点服务,并将监听器的证书上传到你的 TLS 存储桶。这些资源位于你的账户中。如果你在发布集群之前将其列入网关,调用将失败并提示你需要修复的内容。

创建网关:每个网关只需执行一次。调用 CreateGlobalInferenceGateway 并指定要路由的集群,SageMaker 会返回一个端点。

请求流程

客户端使用 SigV4 签名请求并将其发送到网关的区域端点。网关对调用者进行认证并选择最佳集群。AWS PrivateLink 将请求传输到该集群(同一区域或另一区域),然后集群的 Inference Gateway 将其路由到模型 pod。每个集群都会将其负载发布回网关。

AWS 运营的内容

你决定发布哪些集群、将哪些集群分组在一个网关后面以及如何加权路由。AWS 运营其余部分:路由队列(SageMaker 配置并运营终止 TLS、认证调用者、评分集群并转发每个请求的队列);私有连接(SageMaker 为每个集群创建一个私有端点,并通过 AWS 骨干网在区域内和跨区域传输流量);证书和验证(使用你创建的执行角色,服务读取每个集群的 VPC 端点服务名称、证书和区域,因此你无需手动复制它们,并在路由流量之前进行检查);健康和故障转移(网关对每个集群进行健康检查,并自动将流量从故障集群转移);认证和速率限制(网关检查 SigV4 签名、IAM 权限和速率限制,并在任何集群看到请求之前拒绝失败的请求)。在每个集群上,一个带有自己的 IAM 角色的服务管理指标发布者会将集群的负载发送到网关。

网关如何选择集群

对于每个请求,网关根据四个信号对每个健康集群进行评分,并将请求发送到得分最高的集群。每个集群的指标发布者提供负载信号。你可以通过路由权重控制每个信号的重要性。每个权重是 0.0 到 1.0 之间的值,权重为 0 表示关闭该信号。如果设置权重,必须设置所有四个权重,并且它们的总和必须为 1.0。如果省略,则应用默认值:KVHeadroom 0.20、QueueDepth 0.25、RegionProximity 0.40、ErrorRate 0.15。默认值优先选择靠近网关区域的集群,同时仍将流量导向有可用容量的集群,并远离故障集群。如果工作负载的韧性比接近性更重要,可以提高 ErrorRate 并降低 RegionProximity。例如,以下路由块将最近错误的权重设为 0.7:{"Weights": {"KVHeadroom": 0.1, "QueueDepth": 0.1, "RegionProximity": 0.1, "ErrorRate": 0.7}}。你可以在 CreateGlobalInferenceGateway 的 Routing 参数中传递权重,并稍后使用 UpdateGlobalInferenceGateway 更改它们。

选择起点

你的路径取决于你当前运行的内容。如果你从单个集群提供服务,请继续使用该集群的 Inference Gateway 端点。当你添加第二个集群时,再迁移到 Global Inference Gateway。如果你已经使用 Inference Gateway(例如,在 us-east-1 和 us-west-2 的五个集群上运行四个模型),请更新附加组件、发布每个集群并创建网关。结果是一个用于所有集群的端点,而每个集群的端点会继续提供服务,直到你迁移客户端。如果 HyperPod Inference 附加组件已运行但 Inference Gateway 关闭,请通过一次附加组件更新和每个集群一个 InferenceGatewayConfig 来开启 Inference Gateway,为每个模型添加调度器,然后按照第一行操作。这样,每个模型的端点将合并为一个。如果你在两个区域有 GPU 容量但尚未设置 HyperPod Inference,请在每个区域创建一个 HyperPod 集群并安装 HyperPod Inference 附加组件,部署模型,开启 Inference Gateway,然后按照第一行操作。这样,你从第一天起就有一个端点,可以微调路由流量,并在某个区域出现问题时继续提供服务。

开始使用

要设置 Global Inference Gateway,你需要准备每个集群、创建一个执行角色,并调用 CreateGlobalInferenceGateway。然后,你将签名的 OpenAI 兼容请求发送到网关端点。有关分步说明(包括 IAM 角色和策略),请参阅 AWS 文档。

安全与访问

对网关的每个请求都使用 SigV4 签名并通过 IAM 授权。调用者需要权限来调用网关,流式传输有其自己的操作。例如,以下策略允许调用网关:

{ "Version": "2012-10-17", "Statement": [{ "Effect": "Allow", "Action": [ "sagemaker:InvokeGlobalInferenceGateway", "sagemaker:InvokeGlobalInferenceGatewayWithResponseStream" ], "Resource": "arn:aws:sagemaker:::global-inference-gateway/" }] }

将此策略附加到每个发送请求的 IAM 身份。要允许账户中的所有网关,请使用 global-inference-gateway/* 作为资源。

执行角色遵循最小权限原则。它只能描述你列出的集群,只能访问它们的 Amazon EKS API,并且只能读取你的 TLS 存储桶中 gig/ 前缀下标记为 HyperPod Inference 创建的路由证书。

身份令牌:如果你的集群检查 JSON Web Tokens (JWT),请通过 --customer-identity-token 传递令牌(X-Amzn-SageMaker-Customer-Identity-Token 头),不带 Bearer 前缀。令牌在 SigV4 签名内传输,因此未签名的令牌会被拒绝并返回 403,重复的令牌会返回 400。在服务模型的所有集群上开启 JWT 检查,或者全部不开启,以免请求在一个集群上成功而在另一个集群上失败。

请求仅通过 AWS PrivateLink 到达你的集群。网关不记录或存储提示或完成内容。

操作网关

添加集群:准备新集群并在其上创建执行角色的 EKS 访问条目,如文档所述。同时将新集群添加到执行角色权限策略的 Resource 列表中。然后,在网关所在区域调用 AddInferenceGateway,即使新集群在另一个区域。网关会验证集群,并在其健康后开始路由到它。端点、其他集群和客户端不受影响。

分离集群:在网关所在区域调用 RemoveInferenceGateway。网关停止向该集群发送新请求,让进行中的请求完成,并移除私有端点。网关始终保留至少一个集群。要完全撤回集群,请在其 InferenceGatewayConfig 中设置 globalRouting.enabled: false 并重新应用。

删除网关:调用 DeleteGlobalInferenceGateway。网关端点停止服务,而每个集群的端点继续提供服务。删除网关后,请撤回每个集群。

展开要点与分析

文章情报

工程师进阶

要点

  • 单一 SageMaker 托管端点,跨区域和集群路由请求
  • 基于四个信号(KVHeadroom、QueueDepth、RegionProximity、ErrorRate)进行集群评分,权重可调
  • 自动故障转移、私有连接(AWS PrivateLink)和 SigV4/IAM 认证
  • 客户(Bagelcode)反馈称其简化了跨区域故障转移

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。

亚马逊 SageMaker HyperPod 推出全局推理网关:跨区域和集群的单一端点 | AI News Hub