隨著AI模型引數規模邁向萬億級別，上下文視窗不斷延長，智慧體應用需要跨多次模型和工具呼叫攜帶歷史上下文，GPU視訊記憶體承受著越來越大的壓力。與此同時，記憶體供應趨緊、價格上漲，這一趨勢預計短期內仍將持續。NVIDIA與記憶體合作伙伴緊密協作，率先將HBM3e和HBM4技術引入加速計算棧，但其策略並非簡單地在GPU上堆疊更多記憶體，而是採用全棧協同設計——將GPU、CPU、網路、儲存和軟體統籌設計，讓AI工廠每一層的記憶體都能完成更多有效工作。
AI工廠依賴一套記憶體與儲存的層次結構。GPU上的高頻寬記憶體（HBM）速度最快、成本最高、競爭也最激烈，模型權重和KV快取共同爭奪有限的HBM容量。在HBM之下，還有CPU記憶體、本地SSD和共享儲存，每一層都以速度換取更大的容量和更低的每位元成本。一個位元組能完成多少有用工作，取決於整個層次結構是否被高效利用：壓縮必須儲存的資料、將其放置到合適的層級，並在需要之前及時送回GPU。
從NVIDIA Blackwell Ultra到Vera Rubin平臺，每GPU的HBM容量僅增長約3%，但在SemiAnalysis AgentX測試中，智慧體吞吐量每美元卻提升了高達30倍。這一對比清楚地表明，單純增加HBM容量並非提升效能的唯一路徑，關鍵在於讓每個位元組發揮更大價值。
智慧體推理正給HBM帶來更大壓力。前沿模型擁有數萬億引數，而KV快取——用於儲存模型理解當前請求所需上下文、避免重複處理相同資訊——也在持續膨脹。智慧體軌跡會在反覆的模型和工具呼叫中攜帶先前上下文，某些情況下處理的token數量高達300萬，使得每個請求的工作記憶體隨時間不斷增長。檢索增強生成（RAG）將相關企業資訊加入提示，進一步增加了需要處理和保留的上下文。推理過程中，HBM主要承載模型引數和KV快取，壓力可想而知。
增加每GPU的HBM容量是應對壓力的直觀方案，但容量只能透過頻寬來發揮作用。可以把HBM比作倉庫，記憶體頻寬則是裝卸貨口。倉庫越大，能存放的庫存越多，但裝卸貨口決定了單位時間內能進出多少貨物。一旦裝卸貨口滿負荷，搬運更多庫存就需要更長時間，響應速度隨之下降。如果延遲超出服務等級要求，新增的空間就無法有效利用，反而增加成本和功耗。這也是為什麼任何運營都不會把所有庫存放在最近、最快的空間裡：流動中的貨物留在生產線附近，等待中的貨物則轉移到附近更大、更便宜的儲存區，並在需要之前送回。
AI工廠面臨同樣的限制。更多HBM可以容納更多KV快取、支援更多併發使用者，但每個新增使用者都共享相同的計算和記憶體頻寬。當每個使用者都期望快速響應時，記憶體頻寬最終無法以計算所需的速度供給資料，這就是工程師所說的“記憶體牆”。超過這一點，額外的HBM容量無法投入使用，卻仍然增加成本和功耗。資料仍然需要存放之處，但並非所有資料都需要最快、最昂貴的層級。因此，AI工廠必須透過記憶體與儲存的層次結構來管理資料。
NVIDIA的全棧協同設計針對不同低效來源採取相應技術，讓每一位元組HBM都物盡其用。首先，縮小模型權重並在NVL72域內分佈。NVFP4格式相比Hopper平臺最低精度的FP8進一步減少了權重所需空間。包括Black Forest Labs的FLUX.2 [klein]、Thinking Machines Lab的Inkling、Reflection的Beam 1.0、Meta的Muse Spark、StepFun的Step 5 Preview以及NVIDIA Nemotron 3.5 Super VL在內的近期模型均已釋出NVFP4檢查點，表明模型構建者正越來越多地採用4位元精度以實現更快、更記憶體高效的推理。在NVL72系統中，模型權重可分佈到多達72塊GPU上，每塊GPU只承載模型的一小部分，從而為KV快取和併發使用者留出更多HBM。
其次，縮小KV快取並將不活躍上下文解除安裝到低成本儲存層。對KV快取應用NVFP4可相比FP8減少其佔用，使更多上下文常駐HBM。NVIDIA Vera CPU從兩方面提供幫助：更快的工具執行縮短了KV快取在工具呼叫期間閒置的時間；其大容量LPDDR記憶體透過NVLink-C2C互連與Rubin GPU相連，為暫停的上下文提供了就近等待並快速返回的場所。當上下文不再活躍時，NVIDIA Dynamo推理軟體將其移至NVIDIA CMX上下文記憶體儲存——這一層專為容量設計，每位元成本遠低於HBM——並在複用前送回。與本地SSD不同，CMX可在伺服器間共享；與企業儲存不同，它跳過了短期上下文不需要的長期資料保護開銷。CMX的合作伙伴包括Cloudian、DDN、Dell Technologies、Everpure（原Pure Storage）、HPE、IBM、NetApp、VAST和WEKA。Dynamo的KV快取複用功能將各層連線起來，把KV快取作為跨GPU記憶體、CPU記憶體和儲存的系統級資源統一管理，使計算過一次的上下文可在整個系統中複用。
第三，壓縮RAG嵌入並將索引放在HBM之外。RAG將企業文件轉化為嵌入——一種讓系統按語義而非關鍵詞搜尋的數值表示——並組織成可搜尋的索引。NVIDIA Nemotron Retriever模型能生成更小的嵌入並保持更高檢索精度，而NVIDIA cuVS庫使索引可在CPU和儲存上構建和提供服務。知識庫永不佔用HBM，只有模型需要的段落才進入上下文。最終結果是：用於模型權重的HBM更少，被閒置上下文佔用的HBM更少，更多HBM可用於服務併發使用者。
隨著NVIDIA平臺代際更迭，每美元token吞吐量的增長遠超HBM容量的增長。在SemiAnalysis AgentX的DeepSeek V4 Pro工作負載上，當每使用者100 token/秒時，NVIDIA GB300 NVL72的每美元吞吐量比H200平臺高出多達10倍，而每GPU的HBM容量僅大約翻倍。當每使用者125 token/秒時，Vera Rubin NVL72的每美元吞吐量比GB300 NVL72高出多達30倍，而每GPU的HBM容量僅增長約3%。對AI工廠運營者而言，關鍵指標是在滿足使用者響應時間要求的前提下，工廠能在功耗預算內輸出多少有用token。每瓦token數越高，意味著同樣功耗下完成更多工作、創造更多收入，每個token的成本也更低。NVIDIA的全棧協同設計透過提升每一位元組記憶體所完成的有效工作，降低了token成本。