快速令牌生成成为关键差异点，异构推理逐渐普及

AI推理领域的竞争已从基准测试转向实际的数据中心部署，快速令牌生成成为决定胜负的新战场。随着代理型AI用例的激增，用户对实时交互性的需求迫使推理基础设施从机架层面进行根本性重新设计。计算密集型的预填充阶段与延迟敏感型的解码阶段之间存在巨大鸿沟，这正在催生一种新型的专用加速器。d-Matrix公司联合创始人兼CEO Sid Sheth表示，该公司与NVIDIA合作发布了首个面向快速令牌生成的异构计算解决方案。他指出，许多推理云提供商已经明确表示，仅靠GPU基础设施无法满足低延迟要求。

d-Matrix的Corsair加速器与NVIDIA Hopper和Blackwell GPU的组合部署，是异构解耦推理在商业规模上的首批实例之一。其经济逻辑非常直接：目前快速令牌的定价可达标准吞吐令牌的10倍，形成了一个推理提供商争相捕获的新营收层级。Sheth以Anthropic Claude Code的“快速模式”为例，说明应用开发者正在为这些快速令牌收取更高的费用。

从技术层面来看，异构方案的核心在于内存带宽。AI推理的瓶颈并非计算算力，而是数据在内存与逻辑单元之间的移动速度。d-Matrix的Corsair平台通过将DRAM和逻辑堆叠在同一基板上，实现了远超HBM架构的内存带宽。联合创始人兼CTO Sudeep Bhoja解释，这种3D集成使数据移动距离大大缩短，带宽提升数倍且能耗极低。公司正在开发下一代架构，通过混合键合技术将四个DRAM堆栈直接置于计算芯片之上，在更小的空间内倍增容量和带宽，从而产生更多的快速令牌。

d-Matrix的进展标志着推理硬件正从GPU独大走向异构融合，为追求实时AI交互的应用提供了新的基础设施选项。这一趋势不仅改变了硬件设计范式，也将对模型选型、推理成本、产品能力和评测基准产生深远影响。