智能体AI飞轮

本文提出智能体系统的生命周期分为预生产和持续循环两个阶段。预生产阶段定义问题、概念验证、设定性能指标并构建初始评估集。持续循环阶段（智能体AI飞轮）包括：部署、观察、诊断、改进，然后再次部署。诊断阶段的评估优先原则是关键：一旦发现错误模式，立即编写评估，而不是等待修复。这确保了评估集的增长与错误发现速度同步，而非工程速度。文章还详细介绍了五种评估类型：引文验证、工具使用正确性、检索召回@k、模式验证和LLM作为裁判。