施耐德電氣如何利用LangSmith構建企業級LLMOps基礎

施耐德電氣（Schneider Electric）是一家全球能源技術領導者，致力於透過電氣化、自動化和數字化推動可持續發展。公司擁有16萬名員工，年營收約400億歐元，並設有一個由350名專家組成的內部AI中心，已部署60多個AI代理，用於最佳化能源消耗、延長資產壽命並提升開發效率。

在將AI大規模應用於關鍵基礎設施時，施耐德面臨資料駐留、網路安全和質量控制的挑戰。他們需要一個通用的AI代理平臺，既能快速構建，又能確保資料、部署和質量的可控性。為此，施耐德基於LangSmith和LangChain生態系統構建了LLMOps能力，圍繞可觀測性、評估和部署三大支柱展開。

可觀測性：自託管LangSmith，每個產品獨立工作區

施耐德在AWS EKS上自託管LangSmith，並將其整合在企業安全邊界內，確保嚴格的資料隱私和合規性。關鍵設計是每個AI產品擁有一個工作區，涵蓋開發、QA、預生產和生產環境。這種設計使生產跟蹤資料可直接用於開發資料集，支援離線評估。例如，內部AI助手One Jo服務16萬員工，覆蓋107個國家，每一輪對話都透過LangSmith跟蹤，生產資料用於迴歸測試和效能監控。

評估：離線、線上及成熟度框架

評估體系包括三方面：首先，離線評估加速器，提供基於LangSmith SDK的輕量級CLI和Agentic RAG模板，標準化實驗流程。其次，LLMOps成熟度模型，跟蹤每個AI產品的工具化、評估套件和使用者反饋情況，並透過自動化報告實現持續監控。最後，引入領域專家（SME）參與評估，約20%的AI產品已有活躍的標註佇列。以客戶成功經理Copilot為例，SME從開發初期就參與標註和反饋，顯著提升了產品質量。

部署：每個產品獨立執行時

施耐德採用LangSmith Deployment的參考架構，為每個AI產品獨立部署代理伺服器（含Postgres和Redis），遵循“誰構建誰執行”原則，並避免單點故障。這種設計雖然增加了管理負擔，但保證了隔離性和彈性。例如，數字能源部門的文件處理代理分析客戶報價請求，平均處理時間僅15分鐘，將原本數小時甚至數天的工作縮短至幾分鐘。

成果與經驗

透過LangChain合作，施耐德已擁有60多個AI產品，約200名活躍LangSmith使用者。他們總結了幾點經驗：LLMOps基礎對生產就緒至關重要；優先利用現成功能而非自建框架；自託管LangSmith雖穩健但運營成本高；技術整合快，但組織採用是關鍵。未來，他們計劃進一步簡化執行時管理，並提升成熟度框架的自動化水平。