2026-06-19 11:35 UTC+9要約のみ更新: 2026-06-30 22:03 UTC+9

DeepSWE v1.1：よりクリーンで再現性の高いコーディングエージェントベンチマーク

DeepSWE v1.1はv1と同じ長期的なエンジニアリングタスクを維持しつつ、エージェントの実行とスコアリング方法を改善。分離された環境でコードパッチを検証することで、結果の再現性と監査性を高めました。Claude Fable 5とKimi K2.7 Codeを追加し、総合的な合格率とモデル順位はv1とほぼ同じです。

ソースHacker News AI著者: aesincs

誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内

要約のみ

配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。

要点と分析を開く

記事インテリジェンス

エンジニア中級

要点

分離検証：エージェントの差分を独立したコンテナで適用しテスト、環境の影響を排除。
構造化テストレポート：CTRF形式で各テストの名前とステータスを記録し、分析を容易に。
自然なGit環境：mainブランチで作業し、フィーチャーブランチを作成してコミットする、実際の開発に近いフロー。
モデル性能：Claude Fable 5が70%のPass@1でトップ、GPT-5.5が67%、Claude Opus 4.8が59%で続く。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。