随着AI模型参数规模迈向万亿级别，上下文窗口不断延长，智能体应用需要跨多次模型和工具调用携带历史上下文，GPU显存承受着越来越大的压力。与此同时，内存供应趋紧、价格上涨，这一趋势预计短期内仍将持续。NVIDIA与内存合作伙伴紧密协作，率先将HBM3e和HBM4技术引入加速计算栈，但其策略并非简单地在GPU上堆叠更多内存，而是采用全栈协同设计——将GPU、CPU、网络、存储和软件统筹设计，让AI工厂每一层的内存都能完成更多有效工作。
AI工厂依赖一套内存与存储的层次结构。GPU上的高带宽内存（HBM）速度最快、成本最高、竞争也最激烈，模型权重和KV缓存共同争夺有限的HBM容量。在HBM之下，还有CPU内存、本地SSD和共享存储，每一层都以速度换取更大的容量和更低的每比特成本。一个字节能完成多少有用工作，取决于整个层次结构是否被高效利用：压缩必须存储的数据、将其放置到合适的层级，并在需要之前及时送回GPU。
从NVIDIA Blackwell Ultra到Vera Rubin平台，每GPU的HBM容量仅增长约3%，但在SemiAnalysis AgentX测试中，智能体吞吐量每美元却提升了高达30倍。这一对比清楚地表明，单纯增加HBM容量并非提升性能的唯一路径，关键在于让每个字节发挥更大价值。
智能体推理正给HBM带来更大压力。前沿模型拥有数万亿参数，而KV缓存——用于保存模型理解当前请求所需上下文、避免重复处理相同信息——也在持续膨胀。智能体轨迹会在反复的模型和工具调用中携带先前上下文，某些情况下处理的token数量高达300万，使得每个请求的工作内存随时间不断增长。检索增强生成（RAG）将相关企业信息加入提示，进一步增加了需要处理和保留的上下文。推理过程中，HBM主要承载模型参数和KV缓存，压力可想而知。
增加每GPU的HBM容量是应对压力的直观方案，但容量只能通过带宽来发挥作用。可以把HBM比作仓库，内存带宽则是装卸货口。仓库越大，能存放的库存越多，但装卸货口决定了单位时间内能进出多少货物。一旦装卸货口满负荷，搬运更多库存就需要更长时间，响应速度随之下降。如果延迟超出服务等级要求，新增的空间就无法有效利用，反而增加成本和功耗。这也是为什么任何运营都不会把所有库存放在最近、最快的空间里：流动中的货物留在生产线附近，等待中的货物则转移到附近更大、更便宜的存储区，并在需要之前送回。
AI工厂面临同样的限制。更多HBM可以容纳更多KV缓存、支持更多并发用户，但每个新增用户都共享相同的计算和内存带宽。当每个用户都期望快速响应时，内存带宽最终无法以计算所需的速度供给数据，这就是工程师所说的“内存墙”。超过这一点，额外的HBM容量无法投入使用，却仍然增加成本和功耗。数据仍然需要存放之处，但并非所有数据都需要最快、最昂贵的层级。因此，AI工厂必须通过内存与存储的层次结构来管理数据。
NVIDIA的全栈协同设计针对不同低效来源采取相应技术，让每一字节HBM都物尽其用。首先，缩小模型权重并在NVL72域内分布。NVFP4格式相比Hopper平台最低精度的FP8进一步减少了权重所需空间。包括Black Forest Labs的FLUX.2 [klein]、Thinking Machines Lab的Inkling、Reflection的Beam 1.0、Meta的Muse Spark、StepFun的Step 5 Preview以及NVIDIA Nemotron 3.5 Super VL在内的近期模型均已发布NVFP4检查点，表明模型构建者正越来越多地采用4比特精度以实现更快、更内存高效的推理。在NVL72系统中，模型权重可分布到多达72块GPU上，每块GPU只承载模型的一小部分，从而为KV缓存和并发用户留出更多HBM。
其次，缩小KV缓存并将不活跃上下文卸载到低成本存储层。对KV缓存应用NVFP4可相比FP8减少其占用，使更多上下文常驻HBM。NVIDIA Vera CPU从两方面提供帮助：更快的工具执行缩短了KV缓存在工具调用期间闲置的时间；其大容量LPDDR内存通过NVLink-C2C互连与Rubin GPU相连，为暂停的上下文提供了就近等待并快速返回的场所。当上下文不再活跃时，NVIDIA Dynamo推理软件将其移至NVIDIA CMX上下文内存存储——这一层专为容量设计，每比特成本远低于HBM——并在复用前送回。与本地SSD不同，CMX可在服务器间共享；与企业存储不同，它跳过了短期上下文不需要的长期数据保护开销。CMX的合作伙伴包括Cloudian、DDN、Dell Technologies、Everpure（原Pure Storage）、HPE、IBM、NetApp、VAST和WEKA。Dynamo的KV缓存复用功能将各层连接起来，把KV缓存作为跨GPU内存、CPU内存和存储的系统级资源统一管理，使计算过一次的上下文可在整个系统中复用。
第三，压缩RAG嵌入并将索引放在HBM之外。RAG将企业文档转化为嵌入——一种让系统按语义而非关键词搜索的数值表示——并组织成可搜索的索引。NVIDIA Nemotron Retriever模型能生成更小的嵌入并保持更高检索精度，而NVIDIA cuVS库使索引可在CPU和存储上构建和提供服务。知识库永不占用HBM，只有模型需要的段落才进入上下文。最终结果是：用于模型权重的HBM更少，被闲置上下文占用的HBM更少，更多HBM可用于服务并发用户。
随着NVIDIA平台代际更迭，每美元token吞吐量的增长远超HBM容量的增长。在SemiAnalysis AgentX的DeepSeek V4 Pro工作负载上，当每用户100 token/秒时，NVIDIA GB300 NVL72的每美元吞吐量比H200平台高出多达10倍，而每GPU的HBM容量仅大约翻倍。当每用户125 token/秒时，Vera Rubin NVL72的每美元吞吐量比GB300 NVL72高出多达30倍，而每GPU的HBM容量仅增长约3%。对AI工厂运营者而言，关键指标是在满足用户响应时间要求的前提下，工厂能在功耗预算内输出多少有用token。每瓦token数越高，意味着同样功耗下完成更多工作、创造更多收入，每个token的成本也更低。NVIDIA的全栈协同设计通过提升每一字节内存所完成的有效工作，降低了token成本。