FrontierCode：コードの品質を評価する新ベンチマーク

Cognition AIは、AIモデルが高品質でマージ可能なコードを生成する能力を測定するベンチマーク「FrontierCode」を発表しました。20名以上のオープンソースメンテナーが各タスクに40時間以上を費やし、逆古典的テストや適応的古典的評価などの新しい採点手法を採用。結果では、最先端モデルでも最高難易度のDiamondサブセットで13.4%のスコアにとどまり、コード品質の課題が浮き彫りになりました。