Kimi K3: 完全開発者ガイド

Kimi K3 は、Moonshot AI が開発した最も高性能なモデルであり、世界初の3兆パラメータ級オープンソースウェイトモデルです。2.8兆パラメータを備え、これまでに公開されたオープンウェイトモデルの中で最大となります。長期間にわたるコーディング、エンドツーエンドの知識作業、深い推論といったフロンティア業務を想定して設計されており、GPT 5.6 Sol や Claude Fable 5 の水準に並ぶ初のオープンウェイトモデルとされています。Together AI は Moonshot チームと直接協力しており、米国インフラ上で完全な1Mコンテキスト、自動プレフィックスキャッシュ、OpenAI互換APIを提供しています。

アーキテクチャ面では、K3 は2つの主要な更新を採用しています。Kimi Delta Attention（KDA）はハイブリッド線形アテンション機構で、非常に長いコンテキストでのアテンション拡張の効率的な基盤となります。Attention Residuals（AttnRes）は、モデルの深さ全体から表現を選択的に取得し、均一に蓄積するのではなく情報の流れを改善します。さらに Moonshot は Stable LatentMoE フレームワークで Mixture-of-Experts のスパース性を推し進め、896 個のエキスパートのうち約16個（約2%）だけをトークンごとに活性化します。このような大規模なスパース性での安定学習を支えるため、Quantile Balancing、Per-Head Muon、Sigmoid Tanh Unit（SiTU）、Gated MLA などの技術も導入されています。

Together AI での利用は簡単です。together>=2.0.0 をインストールし、TOGETHER_API_KEY を設定すれば、client.chat.completions.create で即座に呼び出せます。トップレベルの reasoning_effort フィールドは low、high、max の3段階をサポートし、デフォルトは max です。また reasoning={'enabled': False} で思考をオフにでき、その場合、思考トークンは課金されません。ストリーミングでは、reasoning_content（思考トレース）と最終回答の content が別々のデルタとして届きます。

画像入力については、URL または base64 で複数の画像を渡せます。画像の枚数制限はありませんが、リクエスト全体は100MB未満に保つ必要があります。公式の推奨解像度は4K（4096x2160）までで、それ以上は理解度を高めずに処理時間とトークンが増えるだけです。構造化出力は response_format に json_schema と strict: true を指定して使います。より緩い {"type": "json_object"} モードも利用できます。どちらの場合も max_tokens は多めに設定してください。最初のスキーマ制約付きトークンが出力されるまでに思考トレース全体が消費されるため、上限が小さすぎると推論ではなく JSON が切り詰められます。

ツール呼び出しは標準的な OpenAI ループに従います。tools を宣言し、モデルが tool_calls を返したら完全なアシスタントメッセージを履歴に追加し、各呼び出しに対応する tool_call_id を持つ tool メッセージを追加してから再呼び出しします。最初のターンで tool_choice='required' を使えば少なくとも1回のツール呼び出しを強制でき、その後 'auto' に戻せます。tool_choice を変更してもプレフィックスキャッシュは無効になりません。動的ツールロードでは、tools フィールドを持ち content を持たないシステムメッセージを履歴に挿入すると、その位置からツールが有効になります。サーバー側では保持されないため、後続リクエストでは自分でメッセージを保持する必要があります。大きなツールカタログでは、まず search_tools だけを宣言し、最初のターンでツールを強制取得し、必要な定義だけを注入するパターンが推奨されています。

1Mコンテキストと自動キャッシュは Together でサポートされています。システムプロンプトなどの長いプレフィックスをメッセージの先頭に保つとキャッシュヒット率が向上します。会話を始める前に reasoning_effort を決めておくことも、コストと品質のバランスを取る上で重要です。