Terminal-Bench Challenges：長期間、トークン集約型、シングルタスクベンチマーク

Terminal-Bench Challengesは、人間の専門家が数ヶ月かかるような大規模で長期的なタスクにおけるエージェントの能力をテストするための新しいベンチマーク形式です。最初の3つのチャレンジがリリースされました：Rustコンパイラの高速化、推論エンジンのコードゴルフ、WASM WebGLレンダラー。初期のエージェントの試みはまちまちで、主な失敗モードとして探索の不足とテストスイートの過剰利用が挙げられます。