DeepSWE：オリジナルかつ長期のエンジニアリングタスクにおけるコーディングエージェントの評価

DeepSWEは、AIコーディングエージェントを未踏の複雑なソフトウェアエンジニアリングタスクで評価する新しいベンチマークです。データ汚染を回避し、多様なリポジトリをカバーし、大幅なコード変更を必要とし、手書きの検証器を使用します。最先端モデル間で性能に大きな差が見られ、GPT-5.5が70%の精度でリードしています。