Senior SWE-Bench:评估智能体是否具备高级工程师能力的开源基准测试
Senior SWE-Bench是一个新的开源基准测试,旨在评估AI智能体像高级工程师一样处理未充分指定的任务、进行运行时调试以及提供优雅解决方案的能力。该基准包含50个公开和50个私有任务,涵盖多种编程语言和栈,结果显示顶尖模型在高级别任务上仍有超过75%的失败率。
Senior SWE-Bench:评估智能体是否具备高级工程师能力的开源基准测试
本文仅提供摘要
根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。