AIモデルのパラメータ数が兆単位に達し、コンテキストウィンドウが拡大し、エージェント型アプリケーションが複数のモデル呼び出しやツール呼び出しにわたって過去のコンテキストを保持するようになるにつれ、GPUメモリへの圧力は増大している。メモリの供給は逼迫し価格は上昇しており、この傾向は当面続くと予想される。NVIDIAはメモリパートナーと緊密に連携し、HBM3eおよびHBM4技術を加速コンピューティングスタックにいち早く採用してきたが、その戦略は単にGPU上のメモリを増やすことではない。GPU、CPU、ネットワーク、ストレージ、ソフトウェアを意図的に共に設計するフルスタック・コデザインにより、AIファクトリーのあらゆる層でメモリからより多くの有用な処理を引き出すことを目指している。
AIファクトリーはメモリとストレージの階層構造で動作する。GPUの高帯域幅メモリ（HBM）は最も高速で最も高価、かつ最も競合する層であり、モデルの重みとKVキャッシュが限られた容量を奪い合う。その下にはCPUメモリ、ローカルSSD、共有ストレージがあり、それぞれ速度と引き換えに大きな容量と低いビット単価を提供する。1バイトがどれだけの有用な処理を生み出せるかは、この階層全体をどれだけ効率的に使えるか——保存すべきデータを縮小し、適切な層に配置し、必要になる前にGPUに戻すこと——にかかっている。
NVIDIAのBlackwell UltraからVera Rubinプラットフォームにかけて、GPU当たりのHBM容量は約3%増加したにすぎないが、SemiAnalysis AgentXにおけるエージェント・スループットは1ドル当たり最大30倍に向上した。この対比は、HBM容量の増加だけが性能向上の道ではないことを明確に示している。
エージェント推論はHBMにさらなる圧力をかけている。最先端モデルは数兆のパラメータを持ち、モデルが各リクエストを理解するために必要なコンテキストを保持し、同じ情報の再処理を避けるKVキャッシュも拡大している。エージェントの軌跡は繰り返しのモデル呼び出しとツール呼び出しにわたって以前のコンテキストを引き継ぎ、場合によっては最大300万トークンを処理するため、各リクエストのワーキングメモリは時間とともに増大する。検索拡張生成（RAG）は関連する企業情報をプロンプトに追加し、処理・保持すべきコンテキストをさらに増やす。推論中、HBMは主にモデルパラメータとKVキャッシュの両方を保持するため、圧力は大きい。
GPU当たりのHBM容量を増やすことは圧力への明白な対応策だが、容量は帯域幅が動かせる分しか効果を発揮しない。HBMを倉庫、メモリ帯域幅をその荷捌き場と考えるとわかりやすい。倉庫が大きければ在庫は多く持てるが、荷捌き場が一度に出入りできる量を決める。荷捌き場が満杯になれば、より多くの在庫を動かすには時間がかかり、応答時間が遅くなる。遅延が要求サービスレベルを超えれば、追加スペースはコストと電力を増やすだけで有効活用できない。どのオペレーションもすべての在庫を最も近く最速の空間に置かないのは、動いているものはラインの近くに留め、待機中のものは近くのより大きく安い空間に移し、必要になる前に戻すためである。
AIファクトリーも同じ制約に直面する。HBMが増えればより多くのKVキャッシュを保持し、より多くの同時ユーザーを支えられるが、追加された各ユーザーは同じ計算資源とメモリ帯域幅を共有する。各ユーザーが高速応答を期待するとき、メモリ帯域幅は計算が消費できる速度でデータを供給できなくなる——これがエンジニアの言う「メモリウォール」である。この点を超えると、追加のHBM容量は活用できず、コストと電力を増やすだけになる。データは依然としてどこかに置く必要があるが、すべてが最速で最も高価な層に置く必要はない。だからこそAIファクトリーはメモリとストレージの階層全体でデータを管理する。
NVIDIAのフルスタック・コデザインは、モデルの重み、KVキャッシュ、RAGデータの圧力を緩和し、HBMの各バイトを最大限に活かす。それぞれ異なる非効率要因に対処する技術を組み合わせている。第一に、モデルの重みを縮小しNVL72ドメイン全体に分散する。NVFP4フォーマットはHopperプラットフォームで可能な最低精度であるFP8と比べて重みに必要な空間を削減する。Black Forest LabsのFLUX.2 [klein]、Thinking Machines LabのInkling、ReflectionのBeam 1.0、MetaのMuse Spark、StepFunのStep 5 Preview、NVIDIA Nemotron 3.5 Super VLなど、最近のモデルはNVFP4チェックポイントでリリースされており、モデル構築者の間で4ビット精度の採用が進んでいることを示す。NVL72システム内ではモデルの重みを最大72基のGPUに分散でき、各GPUはモデルのごく一部のみを保持するため、KVキャッシュと同時ユーザーのために多くのHBMを残せる。
第二に、KVキャッシュを縮小し、非アクティブなコンテキストを低コストのストレージ層にオフロードする。KVキャッシュにNVFP4を適用するとFP8と比べて占有量が減り、より多くのコンテキストをHBMに常駐させられる。NVIDIA Vera CPUは二つの点で貢献する。ツール実行の高速化によりツール呼び出し中にKVキャッシュが非アクティブになる時間を短縮し、大容量LPDDRメモリがNVLink-C2Cインターコネクトを介してRubin GPUに接続されることで、一時停止したコンテキストが近くで待機し迅速に戻れる場所を提供する。コンテキストが積極的に使われていないとき、NVIDIA Dynamo推論ソフトウェアはそれをNVIDIA CMXコンテキストメモリストレージ——HBMよりはるかに低いビット単価で容量を提供する層——に移動し、再利用前に戻す。ローカルSSDと異なりCMXはサーバー間で共有され、エンタープライズストレージと異なり短期コンテキストには不要な長期データ保護のオーバーヘッドを省く。CMXパートナーにはCloudian、DDN、Dell Technologies、Everpure（旧Pure Storage）、HPE、IBM、NetApp、VAST、WEKAが含まれる。DynamoのKVキャッシュ再利用機能は階層を連携させ、KVキャッシュをGPUメモリ、CPUメモリ、ストレージにまたがるシステム全体のリソースとして管理し、一度計算したコンテキストをシステム全体で再利用できるようにする。
第三に、RAG埋め込みを圧縮し、インデックスをHBMの外に置く。RAGは企業文書を埋め込み——キーワードではなく意味で検索できるようにする数値表現——に変換し、検索可能なインデックスに整理する。NVIDIA Nemotron Retrieverモデルはより小さな埋め込みを生成しながら高い検索精度を維持し、NVIDIA cuVSライブラリはそのインデックスをCPUとストレージにまたがって構築・提供できるようにする。ナレッジベースがHBMを占有することはなく、モデルが必要とするパッセージのみがコンテキストに入る。その結果、モデルの重みに使われるHBMが減り、アイドル状態のコンテキストに占有されるHBMが減り、同時ユーザーに提供できるHBMが増える。
NVIDIAプラットフォームの世代を重ねるごとに、1ドル当たりのトークンスループットはHBM容量の増加をはるかに上回るペースで伸びている。SemiAnalysis AgentXのDeepSeek V4 Proワークロードにおいて、ユーザー当たり毎秒100トークンでは、NVIDIA GB300 NVL72はH200プラットフォームと比べて1ドル当たり最大10倍のスループットを実現し、GPU当たりのHBM容量は約2倍になっている。ユーザー当たり毎秒125トークンでは、Vera Rubin NVL72はGB300 NVL72と比べて1ドル当たり最大30倍のスループットを実現し、GPU当たりのHBM容量は約3%増にとどまる。AIファクトリーの運営者にとって重要な指標は、ユーザーの応答時間要件を満たしつつ、電力予算内でどれだけ有用なトークンを提供できるかである。毎秒毎ワット当たりのトークン数が増えれば、同じ電力からより多くの処理と収益が得られ、トークン当たりのコストは下がる。NVIDIAのフルスタック・コデザインは、メモリの各バイトが生み出す有用な処理を増やすことでトークンコストを引き下げる。