SuperInfer：面向LLM推理的SLO感知旋轉調度與內存管理
SuperInfer是一種針對超級芯片（如NVIDIA GH200）上LLM推理的高性能系統，通過SLO感知的旋轉調度和全雙工內存管理，顯著提高TTFT SLO達標率，同時保持相當的TBT和吞吐量。
SuperInfer：面向LLM推理的SLO感知旋轉調度與內存管理
本文僅提供摘要
根據來源內容權限，本站僅提供編輯摘要、要點和原文連結。
SuperInfer是一種針對超級芯片（如NVIDIA GH200）上LLM推理的高性能系統，通過SLO感知的旋轉調度和全雙工內存管理，顯著提高TTFT SLO達標率，同時保持相當的TBT和吞吐量。
根據來源內容權限，本站僅提供編輯摘要、要點和原文連結。