AgentLens：用于编码智能体评估的生产级轨迹评估
AgentLens 是一个面向交互式编码智能体的生产级基准测试，它评估智能体的完整执行轨迹，包括指令遵循、工具使用、自我验证、错误恢复和沟通等方面。通过结合形式化验证与LLM撰写的轨迹审查，AgentLens 提供了可读的评分解释，适用于模型行为诊断、版本比较和回归检测。该基准已作为开源项目发布。
AgentLens 是一个面向交互式编码智能体的生产级基准测试，专注于评估智能体在任务执行过程中的完整轨迹。与传统的仅以任务通过/失败作为评判标准的基准不同，AgentLens 深入分析智能体如何遵循指令、使用工具、自我验证工作、从错误中恢复以及与用户进行沟通等多维度行为。
AgentLens 的核心创新在于其双轨评估机制：一方面，对于存在客观检查点的任务步骤，采用形式化验证方法确保正确性；另一方面，利用大型语言模型（LLM）生成轨迹审查报告，并对不同智能体的表现进行并排比较。这种结合使得每次评估不仅能给出分数，还能提供可读的解释，阐明评分背后的原因。
这一设计使 AgentLens 超越了单纯的模型排名功能。研究人员可以利用它来诊断模型的行为模式，例如识别智能体在特定类型任务中的常见失误；开发团队可以用它来比较同一智能体不同版本之间的性能差异，检测新版本是否引入了回归问题；此外，它还可集成到夜间自动化评估流程中，持续监控产品的质量变化。
AgentLens 已在 GitHub 上以开源形式发布，地址为 https://github.com/agent-lens/agent-lens-bench。论文作者包括 Andrey Podivilov 等七位研究者，于 2026 年 7 月提交至 arXiv。该基准的发布为编码智能体的评估提供了更细致、更实用的工具，有望推动相关领域的进一步研究和发展。