Kimi K3、エージェンティック知識作業ベンチマークでGPT-5.6 Solを破る

人工知能分析機関のArtificial Analysisは、AA-Briefcaseと呼ばれる新しいベンチマークテストを公開しました。このテストはAIモデルのエージェンティックな知識作業能力を評価するもので、実際のビジネスワークフローを模擬し、スプレッドシート、プレゼンテーション、メモなどの作成タスクを課します。最新のランキングでは、Kimi社のKimi K3モデルがEloスコア1547でトップとなり、OpenAIのGPT-5.6 Sol（スコア1495）やAnthropicのClaude Fable 5（スコア1583、2位）を抑えました。

AA-Briefcaseベンチマークには、4つの複数週間プロジェクトが含まれ、合計91のタスクがあります。モデルはデータサイエンス、プロダクトマネジメント、企業戦略などの分野で専門的なワークフローを完了する必要があります。各タスクは、指示の遵守、ソースファイルの正しい使用、結論の正確性、分析品質、プレゼンテーション品質などの基準で評価されます。

Kimi K3のパフォーマンスは特に注目に値します。コスト効率にも優れており、タスクあたりの平均コストが低く抑えられています。一方、GPT-5.6 Solは高いパフォーマンスを示すものの、コストは高めです。Claude Fable 5は最高スコアを記録しましたが、やはりコストが高くなっています。

ベンチマークではファイルタイプ別の結果も提供されています。Kimi K3はExcelやPowerPointといったファイルタイプで特に優れた結果を示し、一般的なオフィスタスクでの強みを証明しました。また、ツール呼び出しの効率も良好で、タスクあたりのツール呼び出し回数が少なく抑えられています。

全体として、AA-Briefcaseベンチマークは、AIモデルの現実的な知識作業能力を評価する上で貴重な指標を提供します。Kimi K3のトップの座は、中国のAIモデルがエージェンティックワークの分野で世界トップレベルに達したことを示しています。