JetBrainsは、AIコーディングエージェントを評価する公式ベンチマーク「Kotlin Benchmark」を公開しました。これは実在のKotlinソフトウェアエンジニアリングタスクでエージェントの性能を測るもので、SWE-benchの手法を採用しています。データセットには活発なオープンソースリポジトリから集めた105件のタスクが含まれ、各エージェントは実際のissue記述を解釈し、プロジェクト全体の文脈を調査して機能するパッチを生成する必要があります。生成されたパッチはコンテナ環境で検証され、指定されたテストに合格した場合のみ「解決」と見なされます。
従来のKotlin_HumanEvalやKotlin_QAがモデルの構文理解や中核概念を測るのに対し、Kotlin Benchmarkはリポジトリレベルのタスクを完遂するエージェントの能力に焦点を当てています。JetBrainsは、開発者がベンダーの主張だけに頼らず、日常の開発に近いタスクを通じてエージェント構成を比較できるよう、ベンチマーク資産をGitHubで公開し、公式リーダーボードを kotlinlang.org/benchmark で提供しています。
初回評価のトップはClaude Code（Opus 4.7 xhigh）で、105問中90問（85.71%）を解決しました。続いてJetBrains Junie（Opus 4.7 max）とCodex（GPT 5.5 xhigh）がともに81.9%でした。ただし、この結果は最初の公開イテレーションに基づくもので、最新モデルはまだ反映されていません。スコアはあくまで目安であり、実際の成果は各チームのアーキテクチャ、内部API、コーディング規約、ツールチェーン、検証プロセスによって変わります。
今後の拡張予定としては、AndroidやKotlin MultiplatformなどKotlinエコシステム全体のカバレッジを広げ、難易度の幅を増やすこと、テスト合格に加えてコスト、パフォーマンス、保守性、コード品質といった指標を追加すること、より多くの商用エージェントやオープンウェイトモデルを評価することが挙げられています。ベンチマークはオープンなため、誰でもタスクを確認し、結果を比較し、次に取り組むべきKotlinシナリオを提案できます。