Kimi K3：ペリカンベンチマークからまだ学べること

Moonshot AIは2026年7月16日、最新の大規模言語モデルKimi K3を発表した。2.8兆パラメータを誇り、同社はこれを初の「オープン3Tクラスモデル」と位置づけている。現在はウェブサイトとAPIで利用可能で、オープンウェイト版は2026年7月27日までに公開される予定だ。Moonshotは独自のベンチマークで、K3がClaude Opus 4.8 maxやGPT-5.5 highを上回り、Claude Fable 5やGPT-5.6 Solには及ばないと報告している。

Artificial Analysisのレポートによれば、K3は独自の長期的知識作業評価でElo 1547を達成し、Kimi K2.6から732ポイント向上、Claude Fable 5に次ぐ順位となった。タスクあたりのコストは0.94ドルで、GPT-5.6 Solの1.04ドルと同程度、Opus 4.8の1.80ドルの約半分だが、オープンウェイトの競合よりは高い。また、Artificial Analysis Intelligence Indexでのトークン使用量はK2.6より21%減少した。

価格面では、入力100万トークンあたり3ドル、出力100万トークンあたり15ドルで、AnthropicのClaude Sonnetシリーズと同等であり、中国のAIラボがリリースしたモデルとしては最も高価である。前世代のKimi K2.6は入力0.95ドル、出力4ドルだった。2.8兆パラメータは1兆パラメータだったK2.6の2倍以上のサイズである。

著者のSimon Willisonは、MoonshotのAPIキーを取得せずにOpenRouterとLLM CLIツールを使用して、「ペリカンが自転車に乗る」SVGの生成を試みた。このテストでは95の入力トークンと16,658の出力トークン（うち13,241は推論トークン）を消費し、コストは約25セントだった。K3は画像入力もサポートしており、生成されたSVGのスクリーンショットを入力として、詳細で正確な代替テキストを生成した。

著者はこの「ペリカンが自転車に乗る」テストを21ヶ月前から使用している。当初は冗談だったが、最初の1年はモデルの実際の能力と驚くほど相関していた。しかし現在では相関はほぼ失われ、GPT-5.6やClaude Fable 5のペリカンよりもGLM-5.2の方が優れている。著者はペリカンベンチマークの最大の限界として、今日のモデルに最も重要なエージェンティックなツール呼び出し能力を評価できないことを挙げている。

それでも、著者はペリカンテストから一定の価値を得ている。まず、モデルを実際に試すきっかけとなる。次に、単純なタスクのコストと推論の概算が得られる。さらに、モデルが有効なSVGを出力でき、幾何学と空間認識の基本概念を持っていることの確認となる（特に軽量モデルでは重要）。同じモデルファミリー内でのリリース間の比較も興味深い。K3のペリカンはKimi 2.5から顕著に改善している。最後に、ペリカンの画像はHacker Newsでの伝統的な話題となっており、著者がモデルを試したことを示す共有可能な結果でもある。