VoltanaLLM：エネルギー効率の良いLLMサービスのためのフィードバック駆動周波数制御と状態空間ルーティング
VoltanaLLMは、プリフィル/デコード分離型LLMサービスのためにフィードバック駆動の周波数制御と状態空間ルーターを導入し、レイテンシSLOを維持しながら最大36.3%のエネルギー削減を達成します。
VoltanaLLM：エネルギー効率の良いLLMサービスのためのフィードバック駆動周波数制御と状態空間ルーティング
要約のみ
配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。