Moonshot AIがKimi K3を公開：2.8兆パラメータのオープンMoEモデル、Kimi Delta Attentionと100万コンテキストを搭載

Moonshot AIは2026年7月16日、最新モデルKimi K3を公開しました。このモデルは2.8兆パラメータを持ち、スパースMixture-of-Experts（MoE）アーキテクチャを採用し、ネイティブビジョンと100万トークンのコンテキストウィンドウをネイティブサポートします。Moonshotはこれを「世界初のオープンな3Tクラスモデル」と呼んでいます。

Kimi K3の核となるアーキテクチャ革新は、Kimi Delta Attention（KDA）とAttention Residuals（AttnRes）です。KDAはハイブリッド線形注意機構であり、100万トークンのコンテキストで最大6.3倍のデコード高速化を実現するとされています。AttnResはモデルの深さ方向に沿って表現を選択的に取得し、一様に蓄積するのではなく、2%未満の追加コストで約25%の訓練効率向上をもたらします。

スパース性はStable LatentMoEによって実現され、896のエキスパートのうち16が活性化されます。ルーティングと最適化の課題に対処するため、Moonshotは分位数バランシング（Quantile Balancing）を導入しました。これはルータースコアの分位数からエキスパート割り当てを直接導出し、ヒューリスティックな更新と敏感なハイパーパラメータを排除します。また、Per-Head Muonは注意ヘッドを独立に最適化し、Sigmoid Tanh Unit（SiTU）とGated MLAはそれぞれ活性化制御と注意選択性を改善します。

これらの構造的変更に伴い、訓練とデータのレシピも改良され、Kimi K2と比較して全体のスケーリング効率が約2.5倍向上しました。K3はSFT段階から量子化認識訓練を適用し、MXFP4重みとMXFP8活性化を使用して広範なハードウェア互換性を確保しています。Moonshotは64以上のアクセラレータを備えたスーパーノード構成を推奨し、KDAがもたらすプレフィックスキャッシングの課題に対処するため、vLLMへの実装を提供しています。

性能面では、K3は多くのベンチマークで強力な結果を示しています。すべてのテストでreasoning_effortをmaxに設定しています。結果によると、K3はProgram Bench、SWE Marathon、BrowseComp、Automation Bench、OmniDocBenchでリードし、FrontierSWEとHLE-FullではClaude Fable 5に、DeepSWEではGPT 5.6 Solに劣ります。Fable 5の結果には「フォールバック」メカニズムが含まれており、Fable 5が使用ポリシーでリクエストを拒否した場合にOpus 4.8にルーティングされる点に注意が必要です。また、BrowseCompでは300Kトークンでのコンテキスト圧縮が適用されており、この圧縮なしではK3は90.4を記録します。

K3のユースケースは多岐にわたります。リポジトリ規模のエンジニアリング（長時間セッション、最小限の人間監視）、ビジョン・イン・ザ・ループ（コードとライブスクリーンショットの反復）、研究再現（I–Love–Q関係、20以上の論文と3000行以上のPythonコード）、深層研究レポート（42年にわたるASIC研究、2800以上のフェッチと11000以上のページ）、ドキュメント解析（OmniDocBenchスコア91.1）などが報告されています。

K3はKimi.com、Kimi Work、Kimi Code、およびAPIを通じて利用可能です。APIはOpenAI SDKと互換性があり、MoonshotのベースURLを使用します。価格はフラットで、コンテキスト長による階層化はありません。キャッシュヒット入力は$0.30/MTok、キャッシュミス入力は$3.00/MTok、出力は$15.00/MTokです。Moonshotはコーディングワークロードで90%以上のキャッシュヒット率を報告しています。

Kimi K3のリリースは、オープンモデルの規模における新たなマイルストーンを示します。絶対的な性能ではトップのプロプライエタリモデルに及ばない部分もありますが、その革新的なアーキテクチャとオープンな戦略は、AIコミュニティに強力な研究と応用の基盤を提供します。