SuperInfer：面向LLM推理的SLO感知旋转调度与内存管理
SuperInfer是一种针对超级芯片（如NVIDIA GH200）上LLM推理的高性能系统，通过SLO感知的旋转调度和全双工内存管理，显著提高TTFT SLO达标率，同时保持相当的TBT和吞吐量。
SuperInfer：面向LLM推理的SLO感知旋转调度与内存管理
本文仅提供摘要
根据来源内容权限，本站仅提供编辑摘要、要点和原文链接。
SuperInfer是一种针对超级芯片（如NVIDIA GH200）上LLM推理的高性能系统，通过SLO感知的旋转调度和全双工内存管理，显著提高TTFT SLO达标率，同时保持相当的TBT和吞吐量。
根据来源内容权限，本站仅提供编辑摘要、要点和原文链接。