SuperInfer：面向LLM推理的SLO感知旋轉排程與記憶體管理
SuperInfer是一種針對超級晶片（如NVIDIA GH200）上LLM推理的高效能系統，透過SLO感知的旋轉排程和全雙工記憶體管理，顯著提高TTFT SLO達標率，同時保持相當的TBT和吞吐量。
SuperInfer：面向LLM推理的SLO感知旋轉排程與記憶體管理
本文僅提供摘要
根據來源內容權限，本站僅提供編輯摘要、要點和原文連結。
SuperInfer是一種針對超級晶片（如NVIDIA GH200）上LLM推理的高效能系統，透過SLO感知的旋轉排程和全雙工記憶體管理，顯著提高TTFT SLO達標率，同時保持相當的TBT和吞吐量。
根據來源內容權限，本站僅提供編輯摘要、要點和原文連結。