SuperInfer：LLM推論のためのSLO認識型ロータリースケジューリングとメモリ管理
SuperInferは、NVIDIA GH200などのスーパーチップ向けの高性能LLM推論システムです。SLO認識型のプロアクティブなロータリースケジューラRotaSchedと、全二重メモリ転送エンジンDuplexKVを導入し、TTFT SLO達成率を最大74.7%向上させつつ、TBTとスループットを維持します。
SuperInfer：LLM推論のためのSLO認識型ロータリースケジューリングとメモリ管理
要約のみ
配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。