UK AISI / CAISIによるKimi K3のサイバー能力の暫定評価

英国人工知能セキュリティ研究所（UK AISI）と米国人工知能標準化イノベーションセンター（CAISI）は、Moonshot AIの最新モデルであるKimi K3（2026年7月16日リリース、同年7月27日にオープンウェイト公開予定）の共同評価結果を発表しました。評価はKimi K3のサイバー能力に焦点を当て、複数のベンチマークテストを実施しました。

エクスプロイト開発能力の評価には、カーネギーメロン大学が開発したExploitBenchが使用されました。これは、ChromeのV8エンジンにおける41の脆弱性（2023年以降）を対象とし、ソフトウェアエクスプロイトチェーンの各マイルストーンへの到達能力を測定します。Kimi K3のスコアは32％で、GLM-5.2の24％を上回りましたが、最新のフロンティアモデルには及びません。特に、任意コード実行（ACE）については、Kimi K3は41サンプル中0件しか達成できなかったのに対し、フロンティアモデルは平均20件を達成しました。

模擬企業ネットワーク攻撃「The Last Ones」（TLO）では、32ステップからなる社内ネットワーク攻撃シナリオが使用されました。Kimi K3は平均で17ステップに到達し、最も能力の高い米国モデルは平均28.5ステップに達しました。10回の試行中1回、Kimi K3は完全な攻撃パスを成功させ、小規模で防御の弱い企業システムを自律的に攻撃できることを示しました。ただし、TLOは現実の環境とは異なり、アクティブな防御者や防御ツールがなく、アラートを引き起こす行動に対するペナルティもありません。

評価では、Kimi K3のセーフガードがサイバーエクスプロイト開発や攻撃的なサイバー操作の試みを防げなかったことも明らかになりました。これらの結果は暫定的なものであり、限られたベンチマークに基づいています。UK AISIとCAISIは、今後さらに包括的な評価を実施する予定です。

Kimi K3の全体的なサイバー能力の信頼区間は他のモデルよりも大きく、これは単一のベンチマーク（ExploitBench、41タスク）から推定されたためです。米国のクローズドウェイトモデルは、システムレベルのセーフガードを無効にして評価され、最大能力を測定しましたが、公開バージョンではセーフガードが有効です。Kimi K3のホスティング設定の都合上、UK AISI / CAISIは選択的なサイバー評価のみを実施しました。