AgentLens：コーディングエージェント評価のためのプロダクションアセスド・トラジェクトリレビュー
AgentLens は、インタラクティブなコーディングエージェント向けのプロダクションアセスドベンチマークであり、指示追従、ツール使用、自己検証、エラー回復、コミュニケーションなど、エージェントの全軌道を評価します。形式検証とLLMによる軌道レビューおよび比較を組み合わせ、スコアの理由を説明可能にします。モデルの行動診断、バージョン比較、回帰検出に有用で、オープンソースとして公開されています。
ソースarXiv AI著者: Andrey Podivilov, Vadim Lomshakov, Sergey Savin, Matvei Startsev, Roman Pozharskiy, Maksim Parshin, Sergey Nikolenko
AgentLens は、インタラクティブなコーディングエージェントを評価するためのプロダクションアセスドベンチマークです。従来のベンチマークがタスクの成功・失敗のみを判定するのに対し、AgentLens はエージェントの全軌道—指示追従、ツール使用、自己検証、エラー回復、コミュニケーション—を詳細に評価します。
このベンチマークの特徴は、客観的なチェックが可能な部分には形式検証を適用し、LLM による軌道レビューと比較を組み合わせている点です。各実行に対してスコアとともに、その根拠を人間が理解できる形で説明します。これにより、モデルの行動診断、エージェントバージョン間の比較、プロダクトの回帰検出など、多様な用途に利用できます。
AgentLens はオープンソースとして https://github.com/agent-lens/agent-lens-bench で公開されており、コミュニティの貢献を歓迎しています。本論文は 2026 年 7 月に arXiv に提出され、著者は Andrey Podivilov ら 7 名です。このベンチマークは、コーディングエージェントの評価をより豊かで実用的なものにし、今後の研究開発に貢献することが期待されます。