Kimi K3のデザインの秘密は思考痕跡にあるかもしれない

Moonshot AIの最新オープンウェイトモデルKimi K3は、シングルショットFrontend ArenaでElo 1392を獲得し、Kimi K2.6より10ランク、Kimi K2.7 Codeより16ランク高い1位にランクインしました。これはMoonshotモデルシリーズの中で最大の飛躍です。

しかし、研究者たちはKimi K3が極めて多くの思考トークンを使用していることを発見しました。その推論量はClaude Opus 4.8の12倍以上、Kimi K2.6の2倍以上にのぼります。この過剰な推論消費をきっかけに、チームはKimi K3が実際に何を考えているのかを詳しく調査しました。

調査の結果、Kimi K3のパフォーマンスは主にその独自の連鎖思考アプローチに起因することがわかりました。完全なAIエージェントのように設計を内部で反復しますが、これらすべてが連鎖思考の中で行われます。この戦略により、複雑で意図的なWebサイトが生成され、創造的なコンポーネント設計が行われ、外部依存関係との統合能力が向上します。

Kimi K3の思考痕跡をざっと見るだけで、その性能が説明できます。Kimi K3は独自の多段階思考痕跡を持ち、計画から意思決定、最終的なWebサイトの各部分の設計へと移行します。これはまさにエージェントワークフローであり、これまでに見たことのないパターンです。実際、最終設計段階では、Kimi K3はサンプルコードを書き出し、最終生成時に綿密に設計したインタラクションを正しく作成できるようにします。

これまでのモデルは推論痕跡がずっと短く、コードを書くことはほとんどありません。代わりに、高レベルの詳細やセクションを決めた後、すぐに最終出力に飛び込んでいました。全Kimiモデルの生成を集計すると、Kimi K3は推論中に他のどのモデルよりも10倍以上多くのコードを書き、コードに費やす推論トークンは実際の推論よりも多くなっています。

このようなコードブロックの密度を持つモデルは他にありません。これは、Kimi K3が推論中に個々のコンポーネントを反復し、エージェントループで通常行うテストの代わりに「精神的なテスト」を行っているためです。また、Kimi K3は事実上「コードで思考」しており、漠然とした計画ではなく、コードと具体的な制約の形で計画仕様を表現しています。

他の大規模モデルは、推論段階でこのような高レベルの計画と低レベルの反復を行いません。この戦略は推論に費やす時間を増やすためです。この戦略を選択することで、Kimi K3は意図的により多くのトークンを消費するものの、性能が向上した結果を生成し、実質的に「トークンと知能を交換」しています。これにより、より遅い生成と高い嗜好スコアが得られ、嗜好性と速度のグラフに新しいパレートフロンティアを設定しました。

さらに、Kimi K3には秘密兵器があります。それは、驚異的なトレーニングデータのインデックスです。通常、推論はエージェントトレースよりも弱いものです。エージェントはウェブ検索などのツールを使って内部思考を更新できないからです。しかし、Kimi K3の場合、学習済みインターネットインデックスが非常に強力で、出力したばかりの推論が最新で正しいかどうかを、精神的インデックスを確認するだけで判断できます。以下はKimi K3がUnsplash（モデルがヒーロービジュアルやその他の埋め込み画像によく使用する無料画像プロバイダー）を利用する例です。上段が連鎖思考の推論、下段がモデルがIDを生成したときに考えたUnsplash CDN画像です。

Kimi K3は必要な画像を考え、その画像のUnsplash IDを一発で生成し、そのUnsplash IDが実際に有効かどうかを考えて使用するかどうかを判断します。これにより、Kimi K3はWebサイトの画像検索に非常に優れています。他のモデル（Fable 5など）はKimi K3ほど学習インデックスを活用せず、生成する画像についてもあまり推論しません。以下はKimi K3と他のモデルの生成例で、Kimi K3は画像装飾を一つも逃さなかったのに対し、Claude Fable 5やKimi K2.7 Codeは代替テキストやデフォルトに依存していました。

この思考は依存関係の使用にも及び、Kimi K3は推論中にそれらの依存関係の使い方を考えることで、より優れたスクロールアニメーション、チャート、フロントエンドUIを作成します。

Kimi K3はデザイン改善における一歩であり、オープンソースモデル全体の大きな飛躍です。このような発表は、オープンソースフロンティアがいかに速く進歩しているか、そしてオープンソースモデルが皆を前進させる新しいアイデアを提示できるかを思い出させてくれます。私たちは引き続きKimi K3のパフォーマンスと他のモデルとの比較を監視していきます。Moonshot AIチームの発表おめでとうございます。DesignArena.aiでKimi K3をぜひお試しください。