GPU 共有は新しい概念ではありません。マルチインスタンス GPU(MIG)、タイムスライシング、マルチプロセスサービス(MPS)は、それぞれ異なる分離と利用率のニーズに対応します。NVIDIA Run:ai GPU フラクショニングは MPS を基盤に、Kubernetes と統合されたスケジューリング、Pod ごとのメモリ契約、強制、メトリクスを追加します。
本記事の検証結果:2 つの Pod が 1 つの NVIDIA A10G Tensor Core GPU を共有しました。各 Pod は 8 GiB の制限内で 6 GiB を正常に割り当て、制限を超える割り当ては期待どおり失敗しました。
NVIDIA Run:ai は Kubernetes 向けの AI ワークロードオーケストレーションソフトウェアです。その GPU フラクショニング Operator は、複数のチームが Amazon Elastic Kubernetes Service(Amazon EKS)上で 1 つまたは 2 つの GPU を共有するのに役立ちます。ノートブック、モデル評価、小規模な推論サービスでは、GPU メモリが空いていてもチームが待たされることがあります。このウォークスルーのベースラインでは、NVIDIA デバイスプラグインが単一の GPU を 1 つの nvidia.com/gpu リソースとして公開し、GPU 共有は無効になっています。それぞれ nvidia.com/gpu: 1 を要求する 2 つの Pod は、合計の GPU メモリ需要が収まっても、そのノードで同時に実行できません。
NVIDIA Run:ai GPU フラクショニングは、ソフトウェアベースの共有に Kubernetes スケジューリング統合、強制された GPU メモリ制限、Pod ごとのメトリクスを追加します。このアプローチは、GPU フラクショニング Operator のハードウェアおよびソフトウェア要件を満たす NVIDIA GPU(MIG のない GPU を含む)に適用されます。検証例として、NVIDIA A10G Tensor Core GPU を搭載した 1 つの Amazon Elastic Compute Cloud(Amazon EC2)g5.xlarge インスタンスを使用します。他の構成では互換性の確認と検証が必要です。
NVIDIA は 2026 年 10 月 13 日に NVIDIA Run:ai のオープンソースリリースを発表しました。この例では、4 つのモジュラーコンポーネントのうち 2 つ、KAI Scheduler と GPU フラクショニング Operator を使用します。KAI リソース管理とワークロードマップは組織ガバナンスと追加のワークロードタイプに対応し、このウォークスルーの範囲外です。
本記事では、カスタム Amazon Linux 2023(AL2023)イメージを構築し、Amazon EKS で GPU メモリ共有を構成する方法を示します。検証済みの G5/A10G 例では、GPU 全体のベースラインを確立し、各 Pod に 8 GiB のメモリ契約を与え、6 GiB の割り当てを検証します。次に Pod ごとのメトリクスを確認し、9 GiB の割り当てが拒否されることをテストし、使い捨て環境をクリーンアップします。
GPU 共有アプローチの選択
MIG はサポートされている GPU でハードウェアパーティションを提供します。デバイスプラグインのタイムスライシングはレプリカメモリや障害分離なしで GPU を共有します。MPS は同時 CUDA プロセスを許可します。障害封じ込めは構成に依存します。NVIDIA Run:ai GPU フラクショニングは、コンテナごとのメモリ制限を強制し、タイムスライシング(デフォルト)または sm-sharing コンピュートモードをサポートします。NVIDIA はデフォルトモードで個別のワークロードエラードメイン、sm-sharing で共有エラードメインを記録しています。これらはセキュリティ保証ではありません。このウォークスルーはメモリ制限をテストし、障害封じ込めやコンピュート性能はテストしません。メモリ制限は比例したコンピュートを予約しません。
Amazon EKS はいくつかの GPU 共有オプションを文書化しています:MIG、NVIDIA デバイスプラグインによるタイムスライシング、NVIDIA DRA ドライバーと Karpenter によるタイムスライシングです。選択のガイダンスについては、Amazon EKS ベストプラクティスガイドの GPU 共有ガイダンスを参照してください。MIG のない GPU で Pod ごとの GPU メモリ制限を強制する必要があり、固定サイズの GPU ノードグループを実行できる場合は、GPU フラクショニングを選択します。
動的リソース割り当て(DRA)は、デバイスを要求および割り当てるための Kubernetes API を提供します。GPU 共有と分離は、デバイスドライバーの実装と有効な機能に依存します。KAI Scheduler と GPU Operator は DRA をサポートします。このウォークスルーでは DRA ではなく NvFractions アノテーションを使用します。
GPU フラクショニングは、アイドル期間のあるインタラクティブノートブック、短い評価ジョブ、GPU 互換性テスト、小規模な推論サービスに役立ちます。各 GPU メモリ要求は、測定されたピーク使用量とオーバーヘッドから選択し、同時負荷下でレイテンシをテストします。実証された密度の向上は、スループットの向上や普遍的なコスト削減を確立するものではありません。
ソリューションの概要
次の図は、米国東部(オハイオ)リージョン(us-east-2)で検証された単一 GPU 環境を示しています。AWS コマンドラインインターフェイス(AWS CLI)、eksctl、Helm、Packer を使用して構築および運用します。Amazon EKS コントロールプレーンは Kubernetes バージョン 1.36 を実行し、AWS 管理の Amazon Virtual Private Cloud(Amazon VPC)内にあり、顧客 VPC とは分離されています。顧客 VPC のプライベートサブネット内の EC2 ワーカーに接続します。
m7i.large システムノードが Operator コントローラーと KAI Scheduler をホストします。KAI Scheduler は両方の Pod を、23,028 MiB の GPU メモリを持つ A10G を搭載したテイントされた g5.xlarge に配置します。
各 Pod には 8 GiB の GPU メモリ制限があり、6 GiB の GPU メモリを割り当てます。GPU ワーカーは、NVIDIA R615 ドライバーブランチ、NVIDIA コンテナツールキット、containerd を含むカスタム AL2023 を使用します。ノードリソースインターフェイス(NRI)統合を備えた fractiond と、共有のための MPS を実行します。metricsd デーモンは Pod ごとの GPU メモリメトリクスをエクスポートします。
実装ウォークスルー
このウォークスルーでは AWS Samples リポジトリを使用します。前提条件と検証済みコンポーネントバージョンを確認し、ステップ 1 から 10 を完了します。
前提条件
Amazon EKS、AWS CloudFormation、Amazon VPC、Amazon EC2、Amazon Elastic Block Store(Amazon EBS)、AWS Identity and Access Management(IAM)、および Amazon Machine Image(AMI)検出のための AWS Systems Manager の権限を持つ AWS アカウントを使用します。g5.xlarge、システムノード、一時的な m5.xlarge イメージビルダーのクォータと容量を確認します。AWS CLI v2、eksctl、kubectl、Helm、Packer、Git、jq、curl をインストールします。
通常の AWS 認証情報プロバイダー(名前付きプロファイル、AWS IAM Identity Center、引き受けたロール、またはアクセスキー環境変数)を使用します。一時的な認証情報を優先します。一時アクセスキーを使用する場合は AWS_SESSION_TOKEN が必要です。例では us-east-2 を使用します。別のリージョンは、選択した Amazon EKS バージョンとインスタンスタイプをサポートする必要があります。
別の GPU を選択する前に、NVIDIA の GPU Operator ハードウェアリスト、選択したドライバーのハードウェアサポート、GPU フラクショニング Operator の前提条件を確認してください。ハードウェアサポートだけではフラクショニングの互換性は確立されません。このウォークスルーは G5/A10G 構成のみを検証します。AMI ビルドは x86_64 を対象とします。CUDA 互換性とメモリ余裕を確認してください。2 つの 8 GiB 契約には、両方の契約とランタイムオーバーヘッドのための余裕が必要です。小さいデバイスには小さい契約と調整されたプローブが必要です。
このウォークスルーは、Amazon EKS コントロールプレーン、NAT ゲートウェイ、インスタンス、ボリューム、AMI スナップショットなどの課金対象リソースを作成します。使い捨て環境を使用し、検証が終了したらクリーンアップを完了してください。
検証済みの AL2023 スタックを使用する
検証時点で、EKS 最適化 AL2023 NVIDIA イメージは R580 および R595 ドライバーブランチを提供していました。GPU フラクショニング Operator v0.1.7 は R615 以降を必要とします。R615 は短命であり、GPU Operator のデフォルトではありません。この例では、AMI 所有のドライバーとツールキットを備えたカスタム標準 Amazon EKS 1.36 AL2023 イメージを構築します。別の OS 上の Operator 管理ドライバーコンテナは使用しません。この表はラボ検証を記録したものであり、ベンダーサポート認定ではありません。
コンポーネント | 検証バージョン Amazon EKS | 1.36 GPU | NVIDIA A10G, 23,028 MiB NVIDIA ドライバー / コンテナツールキット | 615.71.10 / 1.20.1-1 containerd | 2.3.5(NRI 付き) GPU Operator / デバイスプラグイン | 26.7.1 / 0.20.1 KAI Scheduler / フラクショニング Operator | 0.18.5 / 0.1.7
2026 年 10 月 22 日に NVIDIA ドライバー 615.71.10 を使用してこのウォークスルーを検証しました。2026 年 11 月 18 日、GPU ノードのテイントを更新した後、同じドライバーを持つイメージを使用してステップ 3 のイメージビルド以外のすべてのステップを繰り返しました。結果は一致しました。この表はテスト済みコンポーネントバージョンを示すものであり、永続的なサポートマトリックスではありません。コンポーネントを変更する前に、Amazon EKS AMI ドキュメントと NVIDIA の前提条件を再確認してください。
ステップ 1:クローンと構成
リポジトリをクローンし、提供された例からローカル構成ファイルを作成して権限を制限します:
git clone https://github.com/aws-samples/sample-code-for-gpu-fractioning-on-eks.git cd sample-code-for-gpu-fractioning-on-eks cp walkthrough.env.example walkthrough.env chmod 600 walkthrough.env
クローン後、walkthrough.env で構成し、各ステージで run.sh を実行します。生成されたファイルと kubeconfig は無視される .state ディレクトリに保持されます。GPU_INSTANCE_TYPE はインスタンスタイプを選択します。これを変更するだけでは互換性は確立されません。
walkthrough.env のデフォルトとオプションの認証設定
AWS_REGION=us-east-2 CLUSTER_NAME=runai-fractioning-blog EKS_VERSION=1.36 GPU_INSTANCE_TYPE=g5.xlarge NVIDIA_DRIVER_VERSION=615.71.10
プロファイルまたはアクセスキー変数のいずれかを選択し、両方は使用しないでください。
AWS_PROFILE=my-profile
AWS_ACCESS_KEY_ID=YOUR_ACCESS_KEY_ID
AWS_SECRET_ACCESS_KEY=YOUR_SECRET_ACCESS_KEY
AWS_SESSION_TOKEN=YOUR_SESSION_TOKEN
認証情報をコミットしないでください。ローカル構成ファイルは Git によって無視されます。プロビジョニング前にアクティブな ID を確認します:
./run.sh check
ステージを個別に実行して結果を確認するか、./run.sh walkthrough を使用してメモリ制限テストまで実行します。クリーンアップは常に別のアクションです。
ステップ 2:使い捨てクラスターの作成
次のコマンドを実行して、使い捨ての Amazon EKS クラスターとそのシステムノードを作成します:
./run.sh create-cluster
このコマンドは、Kubernetes バージョン 1.36 を実行する Amazon EKS クラスター、1 つの NAT ゲートウェイを持つ専用 VPC、OpenID Connect(OIDC)統合、プライベート m7i.large マネージドノードをプロビジョニングします。
ステップ 3:カスタム AL2023 イメージの構築
次のコマンドを実行して、R615 ドライバーブランチを持つカスタム AL2023 イメージを構築します:
./run.sh build-ami
スクリプトは、パブリックビルダーサブネットと、Kubernetes 1.36 の AL2023 用に推奨される標準 Amazon EKS AMI を検出します。Packer は R615 ドライバーブランチの現在のパッチリリースとツールキットをインストールし、NVIDIA ランタイムを構成し、パッケージ状態を確認し、暗号化されたイメージを作成します。リージョン固有の AMI ID は .state/ami-id に保存されます。
NVIDIA_DRIVER_VERSION は R615 ブランチを選択します。正確なパッチピンではありません。ワークフローは検出されたドライバーバージョンを AMI ID とともに記録し、AMI およびノードグループタグでそのバージョンを使用します。ビルドで観察されたバージョンについては .state/installed-driver-version を読んでください。本番環境では、独自のビルドで正確なパッケージとベースイメージを固定し、サポートされているドライバーブランチのアップグレードを検証してください。
このステップが必要なのは、検証時点で EKS 最適化 AL2023 NVIDIA AMI に R615 ドライバーブランチが含まれていなかったためです。EKS 最適化 NVIDIA AMI が、GPU 用に選択するドライバーと残りのホスト前提条件が GPU フラクショニング Operator の要件を満たすようになったら、そちらを優先してください。GitHub の Amazon EKS AMI リリースでドライバーバージョンを確認してください。サンプルのスクリプトは現在 R615 ドライバーとイメージビルドのメタデータを必要とするため、標準 AMI を使用するにもスクリプトの変更が必要です。
ステップ 4:GPU ワーカーの追加
次のコマンドを実行して、カスタムイメージを使用する GPU マネージドノードグループを追加します:
./run.sh add-gpu-node
デフォルトでは、マネージドノードグループはカスタムイメージを使用し、検証済みの GPU ワーカーであるオンデマンド g5.xlarge を 1 つ維持します。GPU テイントは通常のワークロードを除外します。GPU Operator がそのコンポーネントを管理するため、スクリプトは eksctl の NVIDIA デバイスプラグインインストールを無効にします。