MoonshotのKimi K3がModalで利用可能に

Moonshotは本日、2.8兆パラメータのマルチモーダルモデルKimi K3をリリースしました。このモデルは100万トークンのコンテキストウィンドウとネイティブビジョン機能を備えており、Modalプラットフォーム上でリリース当日から毎秒460トークンの速度で動作します。

ModalはMoonshotおよびvLLMと協力し、ゼロデイサポートを実現しました。ユーザーはトークン課金制のShared APIを通じてK3を利用できるほか、専用容量向けのAuto Endpointも選択可能です。Modalはまた、K3のアーキテクチャに合わせてカスタムトレーニングされたDFlash投機デコーダを提供しています。

Kimi K3は現在最も強力なオープンモデルの一つであり、Artificial Analysisのインテリジェンスインデックスで186モデル中4位にランクインしています（上位はクローズドモデルが占める）。このモデルは混合エキスパート（MoE）トランスフォーマーで、総パラメータ2.8兆、トークンあたり16個（全896個中）のエキスパートを活性化し、100万トークンのコンテキストウィンドウとネイティブビジョンを備えています。K3は長期的なエージェントワーク向けに設計されており、Moonshotは開発中に初期バージョンを社内のカーネル最適化タスクに活用しました。Kimi Delta Attention（KDA）はシーケンス長が増加してもアテンションコストを抑え、Attention Residualsにより深い層が直前の層だけでなく過去のアテンション出力にアクセスできるようになり、これらによりK2と比較して約2.5倍のスケーリング効率を実現しています。

しかし、このような大規模モデルを動かすことは容易ではありません。Moonshotはアーキテクチャ面でもこの課題に取り組みました。SFT段階から量子化対応トレーニング（MXFP4重み、MXFP8活性化）を実施し、多様なハードウェアで動作可能にするとともに、エキスパート並列を再調整して大規模スループットを維持しました。KDAが従来のプレフィックスキャッシュを破壊することが判明した際には、新しい実装を書き、リリース前にvLLMに貢献しました。これらの地道な作業により、3兆クラスのオープンモデルがサービス可能になっています。

Modalはエンドポイントをさらに最適化し、K3の形状に合わせたカスタムDFlash投機デコーダをゼロデイでサポートしました。K3はタスクあたり大量のトークンを生成するため、ユーザーの待ち時間のほとんどはデコードフェーズであり、投機デコーダがこれを高速化します。エージェントワークロードでは、DFlashなしで毎秒50トークン、GPUあたり毎分0.8百万トークンだったのが、DFlash使用時には毎秒100トークン、毎分約1百万トークンに向上し、ユーザーあたりの上限は毎秒200トークン以上になります。

K3にはMTP（マルチトークン予測）ヘッドが搭載されていますが、MTPはトレーニング時の最適化に適しており、本番推論ではDFlashのような専用ドラフトモデルが大幅な高速化をもたらします。DFlashはターゲットモデルの特徴に基づいてブロック全体を一度にドラフトするため、MTPに対する追加オーバーヘッドはありません。DFlashのトレーニングは主にデータ生成問題であり、32ノードのB300（うち28ノードがTP8でK3を実行し隠れ状態を生成、4ノードがドラフトモデルをトレーニング）を使用しました。

Kimi K3は本日より、OpenAI互換のShared API（トークン課金制）または専用Auto EndpointとしてModalで利用可能です。Modalの標準オファー（毎月30ドルの無料計算リソース）により、Shared APIを無料で使い続けることもできます。