VoltanaLLM：面向能效LLM服务的反馈驱动频率控制与状态空间路由

VoltanaLLM提出了一种基于反馈的频率控制器和状态空间路由器，用于预填/解码分离的LLM服务架构，在保持延迟SLO的同时实现高达36.3%的能耗节省。该工作在多个LLM和NVIDIA A100 GPU上进行了评估。