跳到主要内容
AI News HubLIVE
更多
仅摘要

DeepSWE 结果不可靠——同一模型解决了全部 3/3 个“失败”任务

对 DeepSWE 基准测试的审计发现,deepseek-v4-pro 的报告结果(8% 解决率,平均成本 4.22 美元)存在多个问题:成本因忽略缓存定价膨胀约 5 倍,所有三个失败任务均被同一模型成功解决,OpenRouter 隐私设置默认阻止 DeepSeek 导致 404 错误,且模型未像竞品一样进行推理努力调优。

来源Hacker News AI作者: theanonymousone
DeepSWE 结果不可靠——同一模型解决了全部 3/3 个“失败”任务
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明

本文仅提供摘要

根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。

展开要点与分析

文章情报

工程师进阶

要点

  • 成本膨胀约 5 倍:基准测试对所有输入令牌按缓存未命中率计费,忽略 78% 的缓存命中(99.2% 折扣)。
  • 三个“失败”任务全部解决:使用相同模型 deepseek-v4-pro,总成本约 0.86 美元。
  • OpenRouter 隐私护栏默认阻止 DeepSeek 导致 404 循环;模型未进行任何努力级别调优。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。