vLLM 上で Kimi K3：最大 370 トークン/秒

vLLM は、Kimi K3 に対する初日からの効率的なサポートを発表できることを嬉しく思います。Kimi K3 は、Moonshot AI が公開した最も強力なオープンウェイトモデルの一つであり、2.8兆パラメータを誇り、トークンあたり16/896エキスパートを活性化する混合専門家（MoE）アーキテクチャを採用しています。Kimi Delta Attention（KDA）、Attention Residuals（AttnRes）、MXFP4重みに基づき、最大100万トークンのコンテキストウィンドウとネイティブビジョンをサポートします。

vLLM にとって、Kimi K3 がもたらす最もエキサイティングな課題は、KDA、MXFP4 MoE、KVキャッシュ管理、プリフィル/デコード分離、投機的デコード、長コンテキスト展開のレシピを、実行可能なサービングエンジンで連携させることです。このため、vLLM はハイブリッドプレフィックスキャッシングを再設計し、KDA層のリカレント状態とフルアテンション層のページングKVを一元管理します。KDAアテンションバックエンドは、プリフィルにFlashKDAを、デコードに融合CUDAカーネル（または投機的デコード時はFlash-Linear-Attention/Tritonパス）を使用します。このハイブリッドキャッシュ機構はvLLMコアに新たに追加され、Kimi K3と同様のハイブリッドモデルすべてに利益をもたらします。

パフォーマンス面では、vLLM は単一ユーザーリクエストで最大370トークン/秒を達成（DSpark投機的デコード使用）、非投機的デコード時の118トークン/秒から3.14倍の高速化を実現しました。DSparkアルゴリズムは、ブロック拡散バックボーンを使用し、Kimi K3の中間状態に基づいて複数の投機トークンを並列生成し、低ランクマルコフヘッドと信頼度ヘッドにより受入率を向上させます。コーディングなどの低エントロピータスクでは1ステップあたり約4.73トークン、クリエイティブライティングなどの高エントロピータスクでは約2.61トークンが受け入れられます。また、vLLM はプリフェイズにシーケンス並列性を実装し、カスタムreduce-scatterとall-gatherカーネルによりNCCL比1.7～4.5倍の通信効率向上を達成しました。

本番機能としては、投機的デコード、プリフィル/デコード分離、MooncakeによるエージェントKVキャッシング、ツール呼び出し、推論出力、構造化出力をサポートし、NVIDIAおよびAMD GPUに対応しています。Kimi K3のチャットテンプレートはJinjaではなくPythonプログラムで記述されており、vLLMは入力レンダラーとストリーミング出力パーサーを実装し、XGrammarと統合して構造化領域のデコードを制約します。

Kimi K3を実行する最も簡単な方法は、8基のNVIDIA B300またはAMD MI355X GPUを使用して以下のコマンドを実行することです：

vllm serve moonshotai/Kimi-K3 --tensor-parallel-size 8 --trust-remote-code --load-format fastsafetensors --enable-prefix-caching --enable-auto-tool-choice --tool-call-parser kimi_k3 --reasoning-parser kimi_k3

DSpark投機的デコードを有効にするには、適切な設定を追加してください。詳細なレシピは公式ドキュメントを参照してください。複雑な依存関係のため、現時点ではDockerイメージのみが利用可能です。