AgentLens：用於編碼智能體評估的生產級軌跡評估
AgentLens 是一個面向交互式編碼智能體的生產級基準測試，它評估智能體的完整執行軌跡，包括指令遵循、工具使用、自我驗證、錯誤恢復和溝通等方面。通過結合形式化驗證與LLM撰寫的軌跡審查，AgentLens 提供了可讀的評分解釋，適用於模型行為診斷、版本比較和迴歸檢測。該基準已作為開源項目發佈。
AgentLens 是一個面向交互式編碼智能體的生產級基準測試，專注於評估智能體在任務執行過程中的完整軌跡。與傳統的僅以任務通過/失敗作為評判標準的基準不同，AgentLens 深入分析智能體如何遵循指令、使用工具、自我驗證工作、從錯誤中恢復以及與用户進行溝通等多維度行為。
AgentLens 的核心創新在於其雙軌評估機制：一方面，對於存在客觀檢查點的任務步驟，採用形式化驗證方法確保正確性；另一方面，利用大型語言模型（LLM）生成軌跡審查報告，並對不同智能體的表現進行並排比較。這種結合使得每次評估不僅能給出分數，還能提供可讀的解釋，闡明評分背後的原因。
這一設計使 AgentLens 超越了單純的模型排名功能。研究人員可以利用它來診斷模型的行為模式，例如識別智能體在特定類型任務中的常見失誤；開發團隊可以用它來比較同一智能體不同版本之間的性能差異，檢測新版本是否引入了迴歸問題；此外，它還可集成到夜間自動化評估流程中，持續監控產品的質量變化。
AgentLens 已在 GitHub 上以開源形式發佈，地址為 https://github.com/agent-lens/agent-lens-bench。論文作者包括 Andrey Podivilov 等七位研究者，於 2026 年 7 月提交至 arXiv。該基準的發佈為編碼智能體的評估提供了更細緻、更實用的工具，有望推動相關領域的進一步研究和發展。