FrontierCode:从正确性到质量,提升AI代码生成标准
Cognition AI发布FrontierCode基准测试,旨在衡量AI模型生成高质量、可合并代码的能力。该基准由20多位开源维护者耗时40小时以上每任务构建,采用创新评分方法,包括反向经典测试、代码范围检查和自适应经典评分。结果显示,即使是顶尖模型如Claude Opus 4.8,在最高难度Diamond子集上得分仅为13.4%,凸显了代码质量方面的巨大挑战。
FrontierCode:从正确性到质量,提升AI代码生成标准
本文仅提供摘要
根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。