智能體可觀測性：如何在生產環境中監控和評估LLM智能體

在將傳統軟件部署到生產環境時，你通常能預期會發生什麼。用户點擊按鈕、填寫表單、按照預定路徑導航。你的測試套件可能覆蓋了80-90%的代碼路徑，監控工具追蹤常見的指標：錯誤率、響應時間、數據庫查詢。當出現問題時，你會查看堆棧跟蹤和日誌。

智能體的工作方式不同。它們接收自然語言輸入，輸入空間是無限的。它們由大型語言模型驅動，這些模型對提示的細微變化很敏感，並且可能對相同輸入產生不同輸出。它們通過多步推理鏈、工具調用和檢索操作做出決策，這些在開發過程中很難完全預見。

這意味着智能體的生產監控需要與傳統可觀測性不同的能力。在本文中，我們將探討為什麼智能體可觀測性存在獨特挑戰，需要監控什麼，以及我們從大規模部署智能體的團隊中學到的經驗。

**為什麼智能體與傳統軟件不同**

在與部署智能體到生產環境的團隊合作中，我們觀察到兩個關鍵區別影響監控方法。

**智能體有無限的輸入空間**：傳統軟件的輸入空間是有限的、受約束的。用户通過按鈕、下拉菜單、表單和特定格式的API調用進行交互。而智能體主要接受自然語言作為輸入。自然語言沒有固定的有效輸入集。用户可以用無數種方式表達同一請求——模糊或具體、正式或隨意、在一條消息中組合多個意圖或將一個請求分散到多次對話中。

**LLM對細微變化不魯棒**：LLM表現出提示敏感性和非確定性行為。即使輸入中的微小變化也可能導致不同輸出，相同輸入有時會產生不同結果。這意味着開發中觀察到的行為可能與生產中的行為不匹配。

**生產監控對智能體來説不同**：傳統的APM工具關注延遲、流量、錯誤和飽和度等指標。它們是為結構化、確定性系統設計的。智能體可觀測性需要監控輸入和輸出本身，而不僅僅是系統指標。

**監控自然語言交互**：當智能體與用户進行對話時，主要信號存在於對話本身。你需要捕獲完整的提示-響應對、多輪上下文以及智能體的軌跡和中間步驟。這不同於傳統日誌記錄。

**擴展人工判斷的挑戰**：自然語言交互通常需要人工判斷來正確評估。在開發中，這可在小範圍內處理。但在生產中，你可能要處理成千上萬次交互。我們發現了兩種互補方法有效。

**用於結構化人工審查的標註隊列**：標註隊列有助於使人工審查儘可能高效。它們將特定運行以結構化格式呈現，並帶有預定義評估標準。你可以路由特定軌跡進行審查、定義審查標準、實現團隊協作，並創建反饋循環。

**LLM作為人工判斷的代理**：使用LLM本身來擴展人工判斷。你可以配置在線評估器自動在生產流量上運行，檢查無參考質量指標、安全合規性、格式驗證和主題分類。但LLM評估也有自己的成本和限制：延遲、成本、準確性和評估漂移。因此，我們建議將自動化評估與定期人工審查相結合。

**生產智能體可觀測性的工具**：LangSmith提供了Insights Agent用於自動發現使用模式和錯誤模式；在線評估用於持續質量監控；儀表板和警報用於跟蹤關鍵指標。傳統APM工具在智能體監控中不足：它們無法有效處理自然語言數據，缺乏與開發工作流的緊密集成，並且主要面向基礎設施工程師而非跨職能團隊。

**開放挑戰**：包括評估器準確性和可靠性、大規模成本、隱私和合規性。

**結論**：智能體與傳統軟件不同，需要新的監控方法。結構化標註隊列、自動模式發現和持續評估是我們將生產智能體行為變得可觀察和可改進的方法。