AgentLens は、インタラクティブなコーディングエージェントを評価するためのプロダクションアセスドベンチマークです。従来のベンチマークがタスクの成功・失敗のみを判定するのに対し、AgentLens はエージェントの全軌道—指示追従、ツール使用、自己検証、エラー回復、コミュニケーション—を詳細に評価します。
このベンチマークの特徴は、客観的なチェックが可能な部分には形式検証を適用し、LLM による軌道レビューと比較を組み合わせている点です。各実行に対してスコアとともに、その根拠を人間が理解できる形で説明します。これにより、モデルの行動診断、エージェントバージョン間の比較、プロダクトの回帰検出など、多様な用途に利用できます。
AgentLens はオープンソースとして https://github.com/agent-lens/agent-lens-bench で公開されており、コミュニティの貢献を歓迎しています。本論文は 2026 年 7 月に arXiv に提出され、著者は Andrey Podivilov ら 7 名です。このベンチマークは、コーディングエージェントの評価をより豊かで実用的なものにし、今後の研究開発に貢献することが期待されます。