施耐德电气如何利用LangSmith构建企业级LLMOps基础

施耐德电气（Schneider Electric）是一家全球能源技术领导者，致力于通过电气化、自动化和数字化推动可持续发展。公司拥有16万名员工，年营收约400亿欧元，并设有一个由350名专家组成的内部AI中心，已部署60多个AI代理，用于优化能源消耗、延长资产寿命并提升开发效率。

在将AI大规模应用于关键基础设施时，施耐德面临数据驻留、网络安全和质量控制的挑战。他们需要一个通用的AI代理平台，既能快速构建，又能确保数据、部署和质量的可控性。为此，施耐德基于LangSmith和LangChain生态系统构建了LLMOps能力，围绕可观测性、评估和部署三大支柱展开。

可观测性：自托管LangSmith，每个产品独立工作区

施耐德在AWS EKS上自托管LangSmith，并将其集成在企业安全边界内，确保严格的数据隐私和合规性。关键设计是每个AI产品拥有一个工作区，涵盖开发、QA、预生产和生产环境。这种设计使生产跟踪数据可直接用于开发数据集，支持离线评估。例如，内部AI助手One Jo服务16万员工，覆盖107个国家，每一轮对话都通过LangSmith跟踪，生产数据用于回归测试和性能监控。

评估：离线、在线及成熟度框架

评估体系包括三方面：首先，离线评估加速器，提供基于LangSmith SDK的轻量级CLI和Agentic RAG模板，标准化实验流程。其次，LLMOps成熟度模型，跟踪每个AI产品的工具化、评估套件和用户反馈情况，并通过自动化报告实现持续监控。最后，引入领域专家（SME）参与评估，约20%的AI产品已有活跃的标注队列。以客户成功经理Copilot为例，SME从开发初期就参与标注和反馈，显著提升了产品质量。

部署：每个产品独立运行时

施耐德采用LangSmith Deployment的参考架构，为每个AI产品独立部署代理服务器（含Postgres和Redis），遵循“谁构建谁运行”原则，并避免单点故障。这种设计虽然增加了管理负担，但保证了隔离性和弹性。例如，数字能源部门的文档处理代理分析客户报价请求，平均处理时间仅15分钟，将原本数小时甚至数天的工作缩短至几分钟。

成果与经验

通过LangChain合作，施耐德已拥有60多个AI产品，约200名活跃LangSmith用户。他们总结了几点经验：LLMOps基础对生产就绪至关重要；优先利用现成功能而非自建框架；自托管LangSmith虽稳健但运营成本高；技术整合快，但组织采用是关键。未来，他们计划进一步简化运行时管理，并提升成熟度框架的自动化水平。