Kimi K3のDay-0 APIを構築する方法

BasetenはModel APIsでKimi K3のDay-0サポートを提供しています。Kimi K3はMoonshot AIが開発した2.8Tパラメータの新しいオープンフロンティアモデルです。Moonshot AIが早期に重みを共有してくれたこと、そして開発プロセス全体で協力してくれたInferactおよびRadixArkチームに感謝します。

Kimi K3は本日よりBaseten Model APIsで利用可能で、ビジョン入力と完全な100万トークンのコンテキストウィンドウをサポートしています。2.8Tパラメータのモデルは、これまでのどのオープンモデルよりもはるかに大きく、高性能な推論APIを構築する上で多くの課題をもたらします。新しいアーキテクチャ技術により、Kimi K3は従来のオープンフロンティアモデルの1兆パラメータのしきい値を超えてスケールします：Kimi Delta Attention (KDA) とAttention Residuals (AttnRes) をKimiアーキテクチャのスケーラブルなバックボーンとして；896のエキスパートのうちわずか16をアクティブにする極めて疎なエキスパートをStable LatentMoEで編成；画像入力を処理し視覚情報を潜在空間にマッピングする新しいビジョンエンコーダ。

マイルストーン1：最初のトークンを生成する

Moonshot AIチームからKimi K3の重みへの早期アクセスを得た後、最初の優先事項はモデルを単純に起動することでした。最初のトークンを生成するには、ハードウェアのプロビジョニング（Kimi K3のサイズを考慮してNVIDIA GB300 NVL72システムで実行）、重みのロード（MXFP4形式で1.4TB以上）、推論エンジンの起動（vLLMおよびSGLangのプレリリースビルドを実行）が必要です。通常、Day-0 APIを構築する際、早期ステップは重みをNVFP4に変換してパフォーマンスを向上させることですが、Kimi K3はネイティブのMXFP4重みとMXFP8アクティベーションを使用しており、これらの重みを直接使用できました。

私たちはvLLMのInferactおよびSGLangのRadixArkと緊密に協力しました。Baseten Inference StackでKimi K3を実行する前に、主要なオープンソース推論エンジンとのベースラインを確立する必要がありました。モデルの推論エンジンへのサポート追加は簡単ではありません。KDAのような新しいアーキテクチャのコアモデリングコード、最適化カーネルの実装、トークナイゼーションからツール呼び出しまでのフロントエンド互換性の構築が必要です。vLLMの早期アクセスイメージは基本的な機能の完全性を確立し、初期評価に合格し、ベースラインパフォーマンス目標を設定するのに役立ちました。SGLangの早期アクセスイメージは、Kimi K3の高速で信頼性の高いサービングのリファレンスを提供しました。

マイルストーン2：推論エンジンを検証する

Kimi K3はこれまでで最もスマートなオープンモデルです。推論中にそのインテリジェンスを実際に提供することが不可欠です。品質検証はさまざまな厳格さのレベルで行えます。簡単なサニティチェック（既知のプロンプトでモデルを呼び出す、軽量ベンチマークを実行するなど）は開発プロセス中の便利なチェックポイントですが、公開APIのリリースにはより厳格なベンチマークが必要です。Moonshot AIチームはKimi Vendor Verifierを運用しており、推論プロバイダーがモデル重みの正確で高忠実度なサービングを確保するのに役立ちます。Kimi Vendor Verifierに合格することは、API開発における重要な初期マイルストーンでした。モデルサービングでは多くの失敗の機会がありますが、特にツール呼び出しや他の構造化モデル動作に関する品質問題の大部分は、推論サーバーのフロントエンドに起因します。

マイルストーン3：適切な構成を見つける

推論エンジンは、パフォーマンスを調整するためのさまざまな構成オプションを提供します。適切な構成を見つけるために、テンソル並列性（TP）やエキスパート並列性（EP）の設定、アテンションデータ並列性（ADP）のトグル、バッチサイズ、投機デコーダーのドラフト長、線形層キャッシュ間隔、ルーティングパラメータ、推論エンジン設定などをスイープします。Kimi K3の実行には8つのNVIDIA GB300 GPUが必要で、巨大なモデル重みをVRAMに収めます。しかし、GB300は4つのグループで提供されますが、GB300 NVL72システムはノード間のインターコネクトが十分に高速で、ノード間でTPとEPを実行できます。

マイルストーン4：パフォーマンスを最適化する

モデルが最適化構成で起動したら、レイテンシ、スループット、またはその両方を大幅に改善できる推論エンジニアリング手法が多数あります。私たちは投機（小さなドラフトモデルを使用して複数のトークンを予測）、分離（プリフィルとデコードを別々のワーカーに移動）、キャッシュ（KVキャッシュとKDA状態を保存するメモリ割り当て）に注目しました。新しい最適化の1つはトークナイザーにありました。長い入力シーケンスと高いKVキャッシュ再利用率を持つKimi K3のようなモデルでは、トークナイゼーション時間が重要になる可能性があります。私たちはカスタムトークナイザーを構築し、長い入力シーケンスでtiktokenよりも最大18倍高速になりました。

マイルストーン5：大規模に展開する

Kimi K3に対する業界全体の興奮は大きく、ローンチ時には大きな需要が予想されます。GB300 NVL72システムでは、ノードは4つの個別GPUで構成され、18ノードあります。Kimi K3インスタンスは2ノード（8 GPU）を占有し、各NVL72ラックはモデルの9つのレプリカを実行できます。私たちは複数のリージョンとクラウドプロバイダーでモデルを提供しています。プレフィックスキャッシュヒット率が特定のレプリカのスループットにとって最も重要な要素であるため、KV認識ルーティングがインフラストラクチャ上の主要な課題です。NVIDIA Dynamoツールキットで構築されたKV認識ルーティングシステムにより、繰り返しクエリに対してウォームキャッシュを持つレプリカにトラフィックをルーティングできます。

BasetenでKimi K3を使って構築する

Model APIsを通じてDay-0アクセスを提供できることを嬉しく思い、このモデルの実装を継続的に最適化して、パフォーマンスと信頼性の最高水準を達成することを楽しみにしています。Moonshot AIチームのKimi K3発表には、カーネル最適化やビジョンインザループゲーム開発などのコーディングタスク、研究タスク、ビデオ編集や知識作業などのエージェントタスクなど、興味深いテストが多数含まれています。7月28日火曜日午前11時（太平洋時間）に、Basetenのフォワードデプロイエンジニアリング責任者Joey ZwickerとPhilip Kieとともに、Kimi K3のユースケースに関するエグゼクティブブリーフィングを開催します。