智能体可观测性：如何在生产环境中监控和评估LLM智能体

在将传统软件部署到生产环境时，你通常能预期会发生什么。用户点击按钮、填写表单、按照预定路径导航。你的测试套件可能覆盖了80-90%的代码路径，监控工具追踪常见的指标：错误率、响应时间、数据库查询。当出现问题时，你会查看堆栈跟踪和日志。

智能体的工作方式不同。它们接收自然语言输入，输入空间是无限的。它们由大型语言模型驱动，这些模型对提示的细微变化很敏感，并且可能对相同输入产生不同输出。它们通过多步推理链、工具调用和检索操作做出决策，这些在开发过程中很难完全预见。

这意味着智能体的生产监控需要与传统可观测性不同的能力。在本文中，我们将探讨为什么智能体可观测性存在独特挑战，需要监控什么，以及我们从大规模部署智能体的团队中学到的经验。

**为什么智能体与传统软件不同**

在与部署智能体到生产环境的团队合作中，我们观察到两个关键区别影响监控方法。

**智能体有无限的输入空间**：传统软件的输入空间是有限的、受约束的。用户通过按钮、下拉菜单、表单和特定格式的API调用进行交互。而智能体主要接受自然语言作为输入。自然语言没有固定的有效输入集。用户可以用无数种方式表达同一请求——模糊或具体、正式或随意、在一条消息中组合多个意图或将一个请求分散到多次对话中。

**LLM对细微变化不鲁棒**：LLM表现出提示敏感性和非确定性行为。即使输入中的微小变化也可能导致不同输出，相同输入有时会产生不同结果。这意味着开发中观察到的行为可能与生产中的行为不匹配。

**生产监控对智能体来说不同**：传统的APM工具关注延迟、流量、错误和饱和度等指标。它们是为结构化、确定性系统设计的。智能体可观测性需要监控输入和输出本身，而不仅仅是系统指标。

**监控自然语言交互**：当智能体与用户进行对话时，主要信号存在于对话本身。你需要捕获完整的提示-响应对、多轮上下文以及智能体的轨迹和中间步骤。这不同于传统日志记录。

**扩展人工判断的挑战**：自然语言交互通常需要人工判断来正确评估。在开发中，这可在小范围内处理。但在生产中，你可能要处理成千上万次交互。我们发现了两种互补方法有效。

**用于结构化人工审查的标注队列**：标注队列有助于使人工审查尽可能高效。它们将特定运行以结构化格式呈现，并带有预定义评估标准。你可以路由特定轨迹进行审查、定义审查标准、实现团队协作，并创建反馈循环。

**LLM作为人工判断的代理**：使用LLM本身来扩展人工判断。你可以配置在线评估器自动在生产流量上运行，检查无参考质量指标、安全合规性、格式验证和主题分类。但LLM评估也有自己的成本和限制：延迟、成本、准确性和评估漂移。因此，我们建议将自动化评估与定期人工审查相结合。

**生产智能体可观测性的工具**：LangSmith提供了Insights Agent用于自动发现使用模式和错误模式；在线评估用于持续质量监控；仪表板和警报用于跟踪关键指标。传统APM工具在智能体监控中不足：它们无法有效处理自然语言数据，缺乏与开发工作流的紧密集成，并且主要面向基础设施工程师而非跨职能团队。

**开放挑战**：包括评估器准确性和可靠性、大规模成本、隐私和合规性。

**结论**：智能体与传统软件不同，需要新的监控方法。结构化标注队列、自动模式发现和持续评估是我们将生产智能体行为变得可观察和可改进的方法。