隨着AI模型參數規模邁向萬億級別，上下文窗口不斷延長，智能體應用需要跨多次模型和工具調用攜帶歷史上下文，GPU顯存承受着越來越大的壓力。與此同時，內存供應趨緊、價格上漲，這一趨勢預計短期內仍將持續。NVIDIA與內存合作伙伴緊密協作，率先將HBM3e和HBM4技術引入加速計算棧，但其策略並非簡單地在GPU上堆疊更多內存，而是採用全棧協同設計——將GPU、CPU、網絡、存儲和軟件統籌設計，讓AI工廠每一層的內存都能完成更多有效工作。
AI工廠依賴一套內存與存儲的層次結構。GPU上的高帶寬內存（HBM）速度最快、成本最高、競爭也最激烈，模型權重和KV緩存共同爭奪有限的HBM容量。在HBM之下，還有CPU內存、本地SSD和共享存儲，每一層都以速度換取更大的容量和更低的每比特成本。一個字節能完成多少有用工作，取決於整個層次結構是否被高效利用：壓縮必須存儲的數據、將其放置到合適的層級，並在需要之前及時送回GPU。
從NVIDIA Blackwell Ultra到Vera Rubin平台，每GPU的HBM容量僅增長約3%，但在SemiAnalysis AgentX測試中，智能體吞吐量每美元卻提升了高達30倍。這一對比清楚地表明，單純增加HBM容量並非提升性能的唯一路徑，關鍵在於讓每個字節發揮更大價值。
智能體推理正給HBM帶來更大壓力。前沿模型擁有數萬億參數，而KV緩存——用於保存模型理解當前請求所需上下文、避免重複處理相同信息——也在持續膨脹。智能體軌跡會在反覆的模型和工具調用中攜帶先前上下文，某些情況下處理的token數量高達300萬，使得每個請求的工作內存隨時間不斷增長。檢索增強生成（RAG）將相關企業信息加入提示，進一步增加了需要處理和保留的上下文。推理過程中，HBM主要承載模型參數和KV緩存，壓力可想而知。
增加每GPU的HBM容量是應對壓力的直觀方案，但容量只能通過帶寬來發揮作用。可以把HBM比作倉庫，內存帶寬則是裝卸貨口。倉庫越大，能存放的庫存越多，但裝卸貨口決定了單位時間內能進出多少貨物。一旦裝卸貨口滿負荷，搬運更多庫存就需要更長時間，響應速度隨之下降。如果延遲超出服務等級要求，新增的空間就無法有效利用，反而增加成本和功耗。這也是為什麼任何運營都不會把所有庫存放在最近、最快的空間裏：流動中的貨物留在生產線附近，等待中的貨物則轉移到附近更大、更便宜的存儲區，並在需要之前送回。
AI工廠面臨同樣的限制。更多HBM可以容納更多KV緩存、支持更多併發用户，但每個新增用户都共享相同的計算和內存帶寬。當每個用户都期望快速響應時，內存帶寬最終無法以計算所需的速度供給數據，這就是工程師所説的“內存牆”。超過這一點，額外的HBM容量無法投入使用，卻仍然增加成本和功耗。數據仍然需要存放之處，但並非所有數據都需要最快、最昂貴的層級。因此，AI工廠必須通過內存與存儲的層次結構來管理數據。
NVIDIA的全棧協同設計針對不同低效來源採取相應技術，讓每一字節HBM都物盡其用。首先，縮小模型權重並在NVL72域內分佈。NVFP4格式相比Hopper平台最低精度的FP8進一步減少了權重所需空間。包括Black Forest Labs的FLUX.2 [klein]、Thinking Machines Lab的Inkling、Reflection的Beam 1.0、Meta的Muse Spark、StepFun的Step 5 Preview以及NVIDIA Nemotron 3.5 Super VL在內的近期模型均已發佈NVFP4檢查點，表明模型構建者正越來越多地採用4比特精度以實現更快、更內存高效的推理。在NVL72系統中，模型權重可分佈到多達72塊GPU上，每塊GPU只承載模型的一小部分，從而為KV緩存和併發用户留出更多HBM。
其次，縮小KV緩存並將不活躍上下文卸載到低成本存儲層。對KV緩存應用NVFP4可相比FP8減少其佔用，使更多上下文常駐HBM。NVIDIA Vera CPU從兩方面提供幫助：更快的工具執行縮短了KV緩存在工具調用期間閒置的時間；其大容量LPDDR內存通過NVLink-C2C互連與Rubin GPU相連，為暫停的上下文提供了就近等待並快速返回的場所。當上下文不再活躍時，NVIDIA Dynamo推理軟件將其移至NVIDIA CMX上下文內存存儲——這一層專為容量設計，每比特成本遠低於HBM——並在複用前送回。與本地SSD不同，CMX可在服務器間共享；與企業存儲不同，它跳過了短期上下文不需要的長期數據保護開銷。CMX的合作伙伴包括Cloudian、DDN、Dell Technologies、Everpure（原Pure Storage）、HPE、IBM、NetApp、VAST和WEKA。Dynamo的KV緩存複用功能將各層連接起來，把KV緩存作為跨GPU內存、CPU內存和存儲的系統級資源統一管理，使計算過一次的上下文可在整個系統中複用。
第三，壓縮RAG嵌入並將索引放在HBM之外。RAG將企業文檔轉化為嵌入——一種讓系統按語義而非關鍵詞搜索的數值表示——並組織成可搜索的索引。NVIDIA Nemotron Retriever模型能生成更小的嵌入並保持更高檢索精度，而NVIDIA cuVS庫使索引可在CPU和存儲上構建和提供服務。知識庫永不佔用HBM，只有模型需要的段落才進入上下文。最終結果是：用於模型權重的HBM更少，被閒置上下文佔用的HBM更少，更多HBM可用於服務併發用户。
隨着NVIDIA平台代際更迭，每美元token吞吐量的增長遠超HBM容量的增長。在SemiAnalysis AgentX的DeepSeek V4 Pro工作負載上，當每用户100 token/秒時，NVIDIA GB300 NVL72的每美元吞吐量比H200平台高出多達10倍，而每GPU的HBM容量僅大約翻倍。當每用户125 token/秒時，Vera Rubin NVL72的每美元吞吐量比GB300 NVL72高出多達30倍，而每GPU的HBM容量僅增長約3%。對AI工廠運營者而言，關鍵指標是在滿足用户響應時間要求的前提下，工廠能在功耗預算內輸出多少有用token。每瓦token數越高，意味着同樣功耗下完成更多工作、創造更多收入，每個token的成本也更低。NVIDIA的全棧協同設計通過提升每一字節內存所完成的有效工作，降低了token成本。