快速令牌生成成為關鍵差異點，異構推理逐漸普及

AI推理領域的競爭已從基準測試轉向實際的資料中心部署，快速令牌生成成為決定勝負的新戰場。隨著代理型AI用例的激增，使用者對即時互動性的需求迫使推理基礎設施從機架層面進行根本性重新設計。計算密集型的預填充階段與延遲敏感型的解碼階段之間存在巨大鴻溝，這正在催生一種新型的專用加速器。d-Matrix公司聯合創始人兼CEO Sid Sheth表示，該公司與NVIDIA合作釋出了首個面向快速令牌生成的異構計算解決方案。他指出，許多推理雲提供商已經明確表示，僅靠GPU基礎設施無法滿足低延遲要求。

d-Matrix的Corsair加速器與NVIDIA Hopper和Blackwell GPU的組合部署，是異構解耦推理在商業規模上的首批例項之一。其經濟邏輯非常直接：目前快速令牌的定價可達標準吞吐令牌的10倍，形成了一個推理提供商爭相捕獲的新營收層級。Sheth以Anthropic Claude Code的“快速模式”為例，說明應用開發者正在為這些快速令牌收取更高的費用。

從技術層面來看，異構方案的核心在於記憶體頻寬。AI推理的瓶頸並非計算算力，而是資料在記憶體與邏輯單元之間的移動速度。d-Matrix的Corsair平臺透過將DRAM和邏輯堆疊在同一基板上，實現了遠超HBM架構的記憶體頻寬。聯合創始人兼CTO Sudeep Bhoja解釋，這種3D整合使資料移動距離大大縮短，頻寬提升數倍且能耗極低。公司正在開發下一代架構，透過混合鍵合技術將四個DRAM堆疊直接置於計算晶片之上，在更小的空間內倍增容量和頻寬，從而產生更多的快速令牌。

d-Matrix的進展標誌著推理硬體正從GPU獨大走向異構融合，為追求即時AI互動的應用提供了新的基礎設施選項。這一趨勢不僅改變了硬體設計正規化，也將對模型選型、推理成本、產品能力和評測基準產生深遠影響。