自己改善型エージェントには依然として人間が必要

本記事では、コーディングエージェントのベンチマークにおけるグッドハートの法則について論じ、チームがTerminal-benchをスコアではなく失敗パターンの分析に使用している方法を説明する。自己改善ループでは、ベンチマークへの過適合を防ぐために人間の監視が必要である。ツール（evals/harbor）の説明とともに、ターンカウント認識とディスクからの画像読み取り能力の復元という2つの具体的な改善点が紹介され、これらがベンチマーク性能と実用性の両方を向上させた。