DeepSWE 结果不可靠——同一模型解决了全部 3/3 个“失败”任务
对 DeepSWE 基准测试的审计发现,deepseek-v4-pro 的报告结果(8% 解决率,平均成本 4.22 美元)存在多个问题:成本因忽略缓存定价膨胀约 5 倍,所有三个失败任务均被同一模型成功解决,OpenRouter 隐私设置默认阻止 DeepSeek 导致 404 错误,且模型未像竞品一样进行推理努力调优。
DeepSWE 结果不可靠——同一模型解决了全部 3/3 个“失败”任务
本文仅提供摘要
根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。