Senior SWE-Bench：エージェントをシニアエンジニアとして評価するオープンソースベンチマーク

Senior SWE-Benchは、AIエージェントがシニアエンジニアのように不十分に指定されたタスクを処理し、ランタイムデバッグを行い、洗練されたコードを提供する能力を評価するための新しいオープンソースベンチマークです。50の公開タスクと50の非公開タスクで構成され、トップモデルでも75%以上の失敗率を示しています。