AI推理領域的競爭已從基準測試轉向實際的數據中心部署，快速令牌生成成為決定勝負的新戰場。隨着代理型AI用例的激增，用户對實時交互性的需求迫使推理基礎設施從機架層面進行根本性重新設計。計算密集型的預填充階段與延遲敏感型的解碼階段之間存在巨大鴻溝，這正在催生一種新型的專用加速器。d-Matrix公司聯合創始人兼CEO Sid Sheth表示，該公司與NVIDIA合作發佈了首個面向快速令牌生成的異構計算解決方案。他指出，許多推理雲提供商已經明確表示，僅靠GPU基礎設施無法滿足低延遲要求。
d-Matrix的Corsair加速器與NVIDIA Hopper和Blackwell GPU的組合部署，是異構解耦推理在商業規模上的首批實例之一。其經濟邏輯非常直接：目前快速令牌的定價可達標準吞吐令牌的10倍，形成了一個推理提供商爭相捕獲的新營收層級。Sheth以Anthropic Claude Code的“快速模式”為例，説明應用開發者正在為這些快速令牌收取更高的費用。
從技術層面來看，異構方案的核心在於內存帶寬。AI推理的瓶頸並非計算算力，而是數據在內存與邏輯單元之間的移動速度。d-Matrix的Corsair平台通過將DRAM和邏輯堆疊在同一基板上，實現了遠超HBM架構的內存帶寬。聯合創始人兼CTO Sudeep Bhoja解釋，這種3D集成使數據移動距離大大縮短，帶寬提升數倍且能耗極低。公司正在開發下一代架構，通過混合鍵合技術將四個DRAM堆棧直接置於計算芯片之上，在更小的空間內倍增容量和帶寬，從而產生更多的快速令牌。
d-Matrix的進展標誌着推理硬件正從GPU獨大走向異構融合，為追求實時AI交互的應用提供了新的基礎設施選項。這一趨勢不僅改變了硬件設計範式，也將對模型選型、推理成本、產品能力和評測基準產生深遠影響。