智能体AI飞轮

本文深入探讨了智能体AI系统的生命周期，特别是“智能体AI飞轮”的概念。作者Aurimas Griciūnas在SwirlAI通讯中提出，大多数智能体系统最初只带有一小部分评估集，但生产中的失败模式往往超出预期，导致调试依赖用户投诉。有效的解决方案是建立一个生命周期，将流量转化为评估，将漂移转化为信号，将意外错误模式转化为回归测试。

系统生命周期分为两半：预生产阶段和持续循环阶段。预生产阶段包括四个步骤：定义问题（明确智能体的目标和正确结果的标准）、概念验证（快速实现以确认可行性）、设定性能指标（如业务指标，而非LLM评估指标）、构建包含初始评估集的原型（通过合成数据或历史人工工作生成）。这一阶段的目标是让系统在没有明显缺陷的情况下上线。

持续循环阶段则是真正的飞轮：部署、观察、诊断、改善，然后再次部署。部署时，系统暴露给真实用户，开始收集追踪和反馈，同时也面临系统漂移。观察阶段利用追踪、反馈和监控评估来识别问题。诊断阶段将反馈数据聚类为命名的错误模式，并为每个模式编写评估。改善阶段基于评估结果进行系统改进。

诊断阶段的“评估优先”原则是核心：一旦发现错误模式，立即编写评估，而不是等待修复。这确保了评估集的增长速度与错误发现速度一致，而非工程速度。作者强调，这种做法与测试驱动开发类似：先写失败的测试，再安排修复，最后在CI中验证。如果反过来（先修复后评估），将无法验证修复是否真的解决问题，评估也容易被忽略，甚至评估会描述修复而非原始错误，失去泛化能力。此外，评估优先策略还能将延迟修复的错误模式转化为“静默胜出检测器”：当后续无关变更意外使其通过时，CI能及时捕获。

文章列举了五种常见评估类型：引文验证（确保输出引用确实在检索上下文中，可通过程序或LLM辅助实现）、工具使用正确性（确定性比较实际工具调用与预期）、检索召回@k（衡量相关文档是否在top-k中，通常附带DEFER标签，因为检索修复需要数周工作）、模式/格式验证（确定性结构检查，如JSON schema）、以及LLM作为裁判（带评分标准的主观质量评估）。作者指出，错误模式决定评估类型，而非团队偏好；这些例子并非穷举，成熟系统还需安全与策略评估、成本与延迟评估、多轮轨迹评估等。

总之，智能体AI飞轮提供了一种系统化的方法，使AI系统在生产环境中持续改进。通过评估优先和持续观察，团队能够快速发现并解决问题，同时积累评估集，为未来的改进奠定基础。