Token per watt成為儲存進入AI關鍵路徑的衡量標準

在人工智慧資料中心中，一個全新的效率指標——每瓦特生成的token數（token per watt）正在取代原始計算能力成為衡量標準。這意味著儲存系統不再只是配角，而是直接影響了GPU的工作效率。Solidigm公司AI生態系統副總裁Avi Shetty表示，隨著代理型AI（agentic AI）對上下文記憶的需求爆炸式增長，固態儲存的角色已從事後考慮變成了關鍵路徑。KV快取解除安裝、推理資料流水線和不斷擴大的上下文視窗正在AI叢集內部建立一個新的儲存層級，它決定了GPU是保持忙碌還是閒置。

Shetty指出，一個簡單的提示詞，例如“我們在巴黎，推薦五家最佳餐廳”，考慮到系統活動、工具活動、資料庫請求，就會轉化為約13GB的資料。當快取被逐出時，需要重建快取，此時GPU等待，這是不可接受的。因此，token per watt效率成為核心設計哲學。

Solidigm位於AI Central Lab的測試環境模擬真實的兆瓦級資料中心，在NVIDIA H100、B200和B300硬體上執行實際AI工作負載，與MinIO、Weka和NetApp等軟體合作伙伴共同驗證，展示了從單個節點到32節點、EB級容量的線性效能擴充套件。Shetty強調，現在沒有人關心資料表上的隨機讀/寫效能，大家關心的是在AI資料中心和AI工作負載中的實際表現。

Solidigm的旗艦122TB D5-P5336 SSD直接體現了密度優先的策略：24塊這種SSD放在單個1U機架中即可提供4PB的儲存，相當於將12個機架的硬碟驅動器整合為一個，功耗降低80%至90%。節省下來的電力可以重新分配給GPU。此外，公司還與NVIDIA合作設計了全球首款液冷SSD，以支援無風扇資料中心架構，其中極端效能產生的熱量成為硬性約束。

“這一切的根本是高效儲存，”Shetty總結道，“如果你追求密度，122TB的SSD，24塊在一個1U機架中，就能獲得4PB儲存。這既提供了效率，也提供了按需擴充套件的機會。到明年，我們將把這個密度翻倍。”