Token per wattがAIのクリティカルパスにおけるストレージの指標に

AIデータセンターにおいて、新しい効率指標「トークン毎ワット（token per watt）」が生の計算能力に取って代わりつつあります。これはストレージシステムがもはや単なる周辺機器ではなく、GPUの稼働効率に直接影響を与える重要な要素であることを意味します。SolidigmのAIエコシステム担当バイスプレジデントであるAvi Shetty氏は、エージェント型AIがコンテキストメモリの需要を爆発的に増加させる中で、ソリッドステートストレージの役割が後付けからクリティカルパスへと変わったと述べています。KVキャッシュのオフロード、推論データのパイプライン処理、コンテキストウィンドウの拡大が、AIクラスター内に新たなストレージ階層を生み出し、GPUがビジー状態を維持するかアイドルになるかを決定します。

Shetty氏は、例えば「私たちはパリにいます。レストランのおすすめトップ5を教えて」という単純なプロンプトが、システムアクティビティ、ツールアクティビティ、データベース要求を考慮すると約13GBのデータに変換されると説明しました。キャッシュが退避されると再構築が必要になり、その間GPUは待機を余儀なくされます。これは許容できません。そのため、トークン毎ワット効率が中心的な設計哲学となっています。

SolidigmのAI Central Labは、実際のメガワット級データセンターを小規模に再現し、NVIDIA H100、B200、B300ハードウェア上で実際のAIワークロードを実行しています。MinIO、Weka、NetAppなどのソフトウェアパートナーと協力し、1ノードから32ノード、エクサバイト容量までの線形性能スケーリングを実証しました。Shetty氏は、現在誰もデータシート上のランダムリード/ライト性能を気にしておらず、重要なのはAIデータセンターとAIワークロードでの実際の動作であると強調しています。

SolidigmのフラッグシップSSDである122TB D5-P5336は、密度重視のアプローチを直接示しています。このSSD24台を1Uラックに搭載すると4PBのストレージを実現し、従来12ラック分のHDDを1ラックに統合、消費電力を80～90%削減します。節約された電力はGPUに再割り当てできます。さらに、同社はNVIDIAと共同で世界初の液体冷却SSDを設計し、ファンレスのデータセンターアーキテクチャをサポートしています。極端な性能が生み出す熱がハード制約となるためです。

「これらすべての基盤は効率的なストレージです」とShetty氏はまとめます。「密度を追求するなら、122TBのSSD24台を1Uラックに搭載すれば4PBのストレージが得られます。これにより効率性と必要に応じたスケールアップの機会が提供されます。来年にはこの密度を倍増する予定です。」