跳到主要内容
AI News HubLIVE
站内改写5 分钟阅读

在 Amazon EKS 上使用 NVIDIA Run:ai GPU 分片

文章摘要

本文介绍了如何在 Amazon EKS 上使用开源的 NVIDIA Run:ai GPU 分片功能,通过自定义 Amazon Linux 2023 镜像、KAI Scheduler 和 GPU 分片 Operator,在单个 NVIDIA A10G GPU 上运行两个受内存限制的 Kubernetes Pod,并验证每个 Pod 的 GPU 内存契约、强制执行和指标。

来源AWS Machine Learning Blog作者: Muru Bhaskaran
在 Amazon EKS 上使用 NVIDIA Run:ai GPU 分片
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

GPU 共享并非新概念:多实例 GPU(MIG)、时间切片和多进程服务(MPS)分别针对不同的隔离和利用率需求。NVIDIA Run:ai GPU 分片在 MPS 基础上构建,增加了与 Kubernetes 集成的调度、按 Pod 的内存契约、强制执行和指标。

本文的验证结果:两个 Pod 共享一个 NVIDIA A10G Tensor Core GPU。每个 Pod 成功在 8 GiB 限制内分配了 6 GiB,而超过限制的分配如预期失败。

NVIDIA Run:ai 是面向 Kubernetes 的 AI 工作负载编排软件。其 GPU 分片 Operator 可帮助多个团队在 Amazon Elastic Kubernetes Service(Amazon EKS)上共享一两个 GPU。笔记本、模型评估和小型推理服务常常让团队排队等待,即使 GPU 内存仍有空闲。在本演练的基线中,NVIDIA 设备插件将单个 GPU 暴露为一个 nvidia.com/gpu 资源,且 GPU 共享被禁用。两个各请求 nvidia.com/gpu: 1 的 Pod 无法在该节点上并发运行,即使它们的 GPU 内存需求总和可以满足。

NVIDIA Run:ai GPU 分片为软件共享增加了 Kubernetes 调度集成、强制 GPU 内存限制和按 Pod 指标。该方法适用于满足 GPU 分片 Operator 硬件和软件要求的 NVIDIA GPU,包括无 MIG 的 GPU。我们使用一个带有 NVIDIA A10G Tensor Core GPU 的 Amazon Elastic Compute Cloud(Amazon EC2)g5.xlarge 实例作为验证示例。其他配置需要兼容性检查和验证。

NVIDIA 于 2026 年 10 月 13 日宣布开源发布 NVIDIA Run:ai。本示例使用了其四个模块化组件中的两个:KAI Scheduler 和 GPU 分片 Operator。KAI 资源管理和工作负载映射涉及组织治理和其他工作负载类型,不在本演练范围内。

在本文中,我们展示如何构建自定义 Amazon Linux 2023(AL2023)镜像并在 Amazon EKS 上配置 GPU 内存共享。在验证的 G5/A10G 示例中,您建立整 GPU 基线,为每个 Pod 提供 8 GiB 内存契约,并验证 6 GiB 分配。然后检查按 Pod 指标,测试 9 GiB 分配被拒绝,并清理一次性环境。

选择 GPU 共享方法

MIG 在支持的 GPU 上提供硬件分区。设备插件时间切片共享 GPU,但没有副本内存或故障隔离。MPS 允许并发 CUDA 进程。故障隔离取决于配置。NVIDIA Run:ai GPU 分片增加了强制按容器内存限制,并支持时间切片(默认)或 sm-sharing 计算模式。NVIDIA 为其默认模式记录了单独的工作负载错误域,为 sm-sharing 记录了共享错误域。这些不是安全保证。本演练测试内存限制,而非故障隔离或计算性能。内存限制不保留成比例的计算资源。

Amazon EKS 文档列出了多种 GPU 共享选项:MIG、使用 NVIDIA 设备插件的时间切片,以及使用 NVIDIA DRA 驱动和 Karpenter 的时间切片。有关选择指南,请参阅 Amazon EKS 最佳实践指南中的 GPU 共享指导。当您需要在无 MIG 的 GPU 上强制按 Pod GPU 内存限制,并且可以运行固定大小的 GPU 节点组时,选择 GPU 分片。

动态资源分配(DRA)提供用于请求和分配设备的 Kubernetes API。GPU 共享和隔离取决于设备驱动的实现和启用的功能。KAI Scheduler 和 GPU Operator 支持 DRA。本演练使用 NvFractions 注解,而非 DRA。

GPU 分片可帮助有闲置期的交互式笔记本、短期评估作业、GPU 兼容性测试和小型推理服务。根据测得的峰值使用量加开销选择每个 GPU 内存请求,然后在并发负载下测试延迟。演示的密度提升并不证明吞吐量增益或普遍成本降低。

解决方案概述

下图展示了在美国东部(俄亥俄)区域(us-east-2)验证的单 GPU 环境。您使用 AWS 命令行界面(AWS CLI)、eksctl、Helm 和 Packer 构建和操作它。Amazon EKS 控制平面运行 Kubernetes 版本 1.36,位于 AWS 管理的 Amazon Virtual Private Cloud(Amazon VPC)中,与客户 VPC 分离。它连接到客户 VPC 私有子网中的 EC2 工作节点。

一个 m7i.large 系统节点托管 Operator 控制器和 KAI Scheduler。KAI Scheduler 将两个 Pod 放置在一个带有 23,028 MiB GPU 内存的 A10G 的污点 g5.xlarge 上。

每个 Pod 有 8 GiB GPU 内存限制,并分配 6 GiB GPU 内存。GPU 工作节点使用自定义 AL2023,包含 NVIDIA R615 驱动分支、NVIDIA 容器工具包和 containerd。它运行 fractiond,带节点资源接口(NRI)集成和 MPS 用于共享。metricsd 守护进程导出按 Pod GPU 内存指标。

实现演练

该演练使用 AWS Samples 仓库。确认先决条件和验证的组件版本,然后完成步骤 1 到 10。

先决条件

使用具有 Amazon EKS、AWS CloudFormation、Amazon VPC、Amazon EC2、Amazon Elastic Block Store(Amazon EBS)、AWS Identity and Access Management(IAM)和 AWS Systems Manager 权限的 AWS 账户,用于 Amazon Machine Image(AMI)发现。确认 g5.xlarge、系统节点和临时 m5.xlarge 映像构建器的配额和容量。安装 AWS CLI v2、eksctl、kubectl、Helm、Packer、Git、jq 和 curl。

使用您正常的 AWS 凭证提供程序:命名配置文件、AWS IAM Identity Center、代入角色或访问密钥环境变量。优先使用临时凭证。使用临时访问密钥时需要 AWS_SESSION_TOKEN。示例使用 us-east-2。其他区域必须支持选定的 Amazon EKS 版本和实例类型。

在选择其他 GPU 之前,检查 NVIDIA 的 GPU Operator 硬件列表、所选驱动的硬件支持以及 GPU 分片 Operator 先决条件。仅硬件支持不能确定分片兼容性。本演练仅验证 G5/A10G 配置。AMI 构建针对 x86_64。检查 CUDA 兼容性和内存余量:两个 8 GiB 契约需要为两个契约和运行时开销留出空间。较小的设备需要较小的契约和调整的探针。

该演练创建可计费资源,包括 Amazon EKS 控制平面、NAT 网关、实例、卷和 AMI 快照。使用一次性环境,并在验证完成后进行清理。

使用验证的 AL2023 堆栈

验证时,EKS 优化的 AL2023 NVIDIA 镜像提供 R580 和 R595 驱动分支。GPU 分片 Operator v0.1.7 要求 R615 或更新版本。R615 是短生命周期版本,不是 GPU Operator 默认值。本示例构建自定义标准 Amazon EKS 1.36 AL2023 镜像,驱动和工具包由 AMI 拥有。它不使用另一操作系统上的 Operator 管理驱动容器。该表记录实验室验证,非供应商支持认证。

组件 | 验证版本 Amazon EKS | 1.36 GPU | NVIDIA A10G, 23,028 MiB NVIDIA 驱动 / 容器工具包 | 615.71.10 / 1.20.1-1 containerd | 2.3.5 带 NRI GPU Operator / 设备插件 | 26.7.1 / 0.20.1 KAI Scheduler / 分片 Operator | 0.18.5 / 0.1.7

我们于 2026 年 10 月 22 日使用 NVIDIA 驱动 615.71.10 验证了本演练。2026 年 11 月 18 日,在更新 GPU 节点污点后,我们使用相同驱动的镜像重复了除步骤 3 映像构建外的每个步骤。结果一致。该表列出测试的组件版本,非永久支持矩阵。在更改任何组件之前,请重新检查 Amazon EKS AMI 文档和 NVIDIA 先决条件。

步骤 1:克隆和配置

克隆仓库,然后从提供的示例创建本地配置文件并限制其权限:

git clone https://github.com/aws-samples/sample-code-for-gpu-fractioning-on-eks.git cd sample-code-for-gpu-fractioning-on-eks cp walkthrough.env.example walkthrough.env chmod 600 walkthrough.env

克隆后,使用 walkthrough.env 进行配置,并为每个阶段运行 run.sh。生成的文件和 kubeconfig 保留在被忽略的 .state 目录中。GPU_INSTANCE_TYPE 选择实例类型。仅更改它并不建立兼容性。

walkthrough.env 中的默认值和可选认证设置

AWS_REGION=us-east-2 CLUSTER_NAME=runai-fractioning-blog EKS_VERSION=1.36 GPU_INSTANCE_TYPE=g5.xlarge NVIDIA_DRIVER_VERSION=615.71.10

选择配置文件或访问密钥变量,不要同时使用。

AWS_PROFILE=my-profile

AWS_ACCESS_KEY_ID=YOUR_ACCESS_KEY_ID

AWS_SECRET_ACCESS_KEY=YOUR_SECRET_ACCESS_KEY

AWS_SESSION_TOKEN=YOUR_SESSION_TOKEN

切勿提交凭证。本地配置文件被 Git 忽略。在配置前确认活动身份:

./run.sh check

分别运行阶段以检查结果,或使用 ./run.sh walkthrough 运行到内存限制测试。清理始终是单独的操作。

步骤 2:创建一次性集群

运行以下命令创建一次性 Amazon EKS 集群及其系统节点:

./run.sh create-cluster

该命令配置一个运行 Kubernetes 版本 1.36 的 Amazon EKS 集群、一个带单个 NAT 网关的专用 VPC、OpenID Connect(OIDC)集成和一个私有 m7i.large 托管节点。

步骤 3:构建自定义 AL2023 镜像

运行以下命令构建带有 R615 驱动分支的自定义 AL2023 镜像:

./run.sh build-ami

脚本发现公共构建器子网和推荐的 Kubernetes 1.36 标准 Amazon EKS AL2023 AMI。Packer 安装 R615 驱动分支的当前补丁版本和工具包,配置 NVIDIA 运行时,检查包状态,并创建加密镜像。区域特定的 AMI ID 存储在 .state/ami-id 中。

NVIDIA_DRIVER_VERSION 选择 R615 分支。它不是确切的补丁固定。工作流记录发现的驱动版本与 AMI ID,并在 AMI 和节点组标签中使用该版本。读取 .state/installed-driver-version 以获取构建中观察到的版本。对于生产环境,在您自己的构建中固定确切的包和基础镜像,并验证支持的驱动分支升级。

仅在验证时 EKS 优化的 AL2023 NVIDIA AMI 未包含 R615 驱动分支的情况下才需要此步骤。一旦 EKS 优化的 NVIDIA AMI 为其为您的 GPU 选择的驱动和其余主机先决条件满足 GPU 分片 Operator 要求,优先使用它。检查 GitHub 上 Amazon EKS AMI 发布中的驱动版本。示例脚本目前需要 R615 驱动和映像构建的元数据,因此使用库存 AMI 也需要脚本更改。

步骤 4:添加 GPU 工作节点

运行以下命令添加使用自定义镜像的 GPU 托管节点组:

./run.sh add-gpu-node

默认情况下,托管节点组使用自定义镜像,并保持一个按需 g5.xlarge,即验证的 GPU 工作节点。GPU 污点排除普通工作负载。脚本禁用 eksctl 的 NVIDIA 设备插件安装,因为 GPU Operator 管理该组件。

展开要点与分析

文章情报

工程师进阶

要点

  • 在单个 A10G GPU 上成功运行两个 Pod,每个 Pod 分配 6 GiB 内存,限制为 8 GiB。
  • GPU 分片在 MPS 基础上增加了 Kubernetes 调度集成、按 Pod 内存限制和指标。
  • 需要自定义 AL2023 镜像,因为 GPU 分片 Operator v0.1.7 要求 NVIDIA 驱动 R615 或更新版本。
  • 该方法适用于无 MIG 的 GPU,但需固定大小的 GPU 节点组,且不保证吞吐量提升或成本降低。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。