AWSでのKimi K3のデプロイ

オープンウェイトモデルは、マルチステップのエージェントワークフロー、高度な推論、長期的なコーディングなどの複雑なタスクを処理できるほど強力になっています。しかし、モデルの能力が向上するにつれてサイズも大きくなり、数兆パラメータのアーキテクチャをホストするには、専用のインフラストラクチャ、ハイエンドGPUコンピュート、最適化されたサービングフレームワークが必要です。2026年7月27日、Moonshot AIはKimi K3をリリースしました。これは2.8兆パラメータのMixture of Experts（MoE）モデルであり、3兆パラメータクラスに到達した最初のオープンウェイトシステムです。Kimi K3はフロンティアレベルのインテリジェンスを提供すると同時に、そのウェイトを公開しているため、組織は自社のインフラストラクチャ上で存在する最も強力なモデルの1つをセルフホストできます。

この記事では、Amazon SageMaker HyperPodとAmazon Elastic Kubernetes Service（Amazon EKS）クラスターの2つのアプローチを使用して、AWS上でKimi K3をデプロイする方法を説明します。

Kimi K3について

Kimi K3は、Kimi Delta Attention（KDA）、Gated Multi Head Latent Attention（MLA）、Stable LatentMoEフレームワークを特徴とする差別化されたアーキテクチャに基づいています。モデルは2.8兆パラメータを896の専門家に分散し、トークンごとに16のみを活性化します。これは、単一のフォワードパス中に約1040億パラメータがアクティブになることを意味し、前世代のKimi K2と比較してスケーリング効率が2.5倍向上しています。

主要な属性：総パラメータ2.8兆、トークンあたりのアクティブパラメータ1040億、アーキテクチャMoE、エキスパート数896（トークンあたり16活性化）、コンテキストウィンドウ100万トークン、ネイティブマルチモーダル（テキスト+ビジョン）、リリース日2026年7月27日。

Kimi K3は、長期的なコーディングタスク、エージェントワークフロー、複雑な推論に優れています。ネイティブのツール呼び出し、構造化出力、マルチステップ問題解決のための常時オン思考モードをサポートしています。

モデルの可用性と形式

Kimi K3のオープンウェイトは、Hugging Faceでモデル識別子moonshotai/Kimi-K3として入手できます。ウェイトはMXFP4（Microscaling Floating Point 4-bit）形式で配布されており、大規模な推論デプロイメントにおいてモデル品質とメモリ効率のバランスを効果的に提供します。

モデルのアーキテクチャとサイズを考慮すると、Kimi K3をサービングするには、Kimi K3専用のvLLMデイゼロ推論コンテナが必要です。現在、vLLMのコミットはvllm/vllm-openai:kimi-k3にあります。vLLMはMoEアーキテクチャ、テンソル並列処理、MXFP4量子化形式をネイティブサポートしており、推奨されるサービングエンジンです。

インフラストラクチャ要件

この規模のモデルをデプロイするには、かなりのGPUコンピュートが必要です。Kimi K3にはp6-b300インスタンス（ml.p6-b300.48xlarge）が必要で、8基のNVIDIA B300 Blackwell Ultra GPUと、効率的なテンソル並列推論に必要な高帯域幅インターコネクトを提供します。

AWSはこの容量を調達するための2つの主要なメカニズムを提供します：Flexible Training Plans（SageMaker HyperPod用）はHyperPodクラスタに割り当て可能な予約容量を提供し、Capacity Blocksは長期契約なしでp6-b300容量へのアクセスを保証します。

オプション1：Amazon SageMaker HyperPodでのデプロイ

Amazon SageMaker HyperPodとInference Operatorは、Kimi K3をデプロイするための最も簡単なパスを提供します。Inference Operatorはクラスタ作成時に自動的にインストールされ、コンテナオーケストレーション、モデルロード、エンドポイント管理の複雑さを抽象化します。

前提条件：SageMaker HyperPodクラスタ（EKSオーケストレーションを選択）を作成し、Flexible Training Planでp6-b300容量を予約します。

モデルのデプロイ：モデルID、vLLMイメージ、引数、8つのGPUリソースを指定してInferenceEndpointConfigマニフェストを適用します。Inference Operatorがモデルのダウンロード、コンテナスケジューリング、ヘルスチェック、エンドポイント readinessを処理します。

オプション2：Amazon EKSでのデプロイ

独自のKubernetesインフラストラクチャを管理したいチームは、スタンドアロンのAmazon EKSクラスタにKimi K3をデプロイし、EC2 Capacity Blocksを通じてGPU容量を予約できます。主要な手順は次のとおりです：Terraformモジュールを使用してEKSクラスタをプロビジョニング、Capacity Block予約を作成、GPUドライバーとデバイスプラグインをインストール、vLLM推論サーバーをデプロイ、推論エンドポイントを公開、検証。

エンドポイントの呼び出し

デプロイ後、Kimi K3エンドポイントはOpenAI互換のチャット補完APIを公開します。OpenAI Python SDKまたはcurlコマンドを使用して呼び出すことができ、サンプルコードが提供されています。

クリーンアップ

継続的な課金を避けるため、不要になったら作成したリソースを削除します。SageMaker HyperPodの場合はInferenceEndpointConfigを削除しクラスタを削除、EKSの場合はデプロイを削除し予約を解放します。

結論

Kimi K3はオープンウェイトモデルの能力における新しいフロンティアを表しており、AWSはそれを大規模にデプロイするためのインフラストラクチャとマネージドサービスを提供します。合理化されたHyperPod Inference Operatorパスを選択するか、セルフマネージドEKSクラスタの柔軟性を選択するかにかかわらず、p6-b300 GPUインスタンス、vLLMサービング、MXFP4量子化ウェイトの組み合わせにより、組み込みのヘルスチェック、自動復旧、エンドポイント readiness検証を備えたデプロイメントを実現します。