本文にスキップ
AI News HubLIVE
その他
要約のみ

DeepSWE の結果は信頼できない – 同一モデルで 3/3 の「失敗」タスクを解決

DeepSWE ベンチマークの監査により、deepseek-v4-pro の報告結果(解決率 8%、平均コスト 4.22 ドル)が複数の問題により無効であることが判明:キャッシュ価格設定を無視した結果コストが約 5 倍に膨らみ、報告された 3 つの失敗タスクすべてが同一モデルで解決され、OpenRouter のプライバシー設定が DeepSeek をデフォルトでブロックし、モデルに推論努力の調整が行われていませんでした。

ソースHacker News AI著者: theanonymousone
DeepSWE の結果は信頼できない – 同一モデルで 3/3 の「失敗」タスクを解決
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内

要約のみ

配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。

要点と分析を開く

記事インテリジェンス

エンジニア中級

要点

  • コストが約 5 倍に膨張:ベンチマークは全入力トークンをキャッシュミス率で課金し、78% のキャッシュヒット(99.2% 割引)を無視。
  • 3 つの「失敗」タスクすべてを同一モデル deepseek-v4-pro で解決、総コスト約 0.86 ドル。
  • OpenRouter のプライバシーガードレールが DeepSeek をデフォルトでブロックし、努力調整も未実施。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。