Token per watt成為存儲進入AI關鍵路徑的衡量標準

在人工智能數據中心中，一個全新的效率指標——每瓦特生成的token數（token per watt）正在取代原始計算能力成為衡量標準。這意味着存儲系統不再只是配角，而是直接影響了GPU的工作效率。Solidigm公司AI生態系統副總裁Avi Shetty表示，隨着代理型AI（agentic AI）對上下文記憶的需求爆炸式增長，固態存儲的角色已從事後考慮變成了關鍵路徑。KV緩存卸載、推理數據流水線和不斷擴大的上下文窗口正在AI集羣內部創建一個新的存儲層級，它決定了GPU是保持忙碌還是閒置。

Shetty指出，一個簡單的提示詞，例如“我們在巴黎，推薦五家最佳餐廳”，考慮到系統活動、工具活動、數據庫請求，就會轉化為約13GB的數據。當緩存被逐出時，需要重建緩存，此時GPU等待，這是不可接受的。因此，token per watt效率成為核心設計哲學。

Solidigm位於AI Central Lab的測試環境模擬真實的兆瓦級數據中心，在NVIDIA H100、B200和B300硬件上運行實際AI工作負載，與MinIO、Weka和NetApp等軟件合作伙伴共同驗證，展示了從單個節點到32節點、EB級容量的線性性能擴展。Shetty強調，現在沒有人關心數據表上的隨機讀/寫性能，大家關心的是在AI數據中心和AI工作負載中的實際表現。

Solidigm的旗艦122TB D5-P5336 SSD直接體現了密度優先的策略：24塊這種SSD放在單個1U機架中即可提供4PB的存儲，相當於將12個機架的硬盤驅動器整合為一個，功耗降低80%至90%。節省下來的電力可以重新分配給GPU。此外，公司還與NVIDIA合作設計了全球首款液冷SSD，以支持無風扇數據中心架構，其中極端性能產生的熱量成為硬性約束。

“這一切的根本是高效存儲，”Shetty總結道，“如果你追求密度，122TB的SSD，24塊在一個1U機架中，就能獲得4PB存儲。這既提供了效率，也提供了按需擴展的機會。到明年，我們將把這個密度翻倍。”