智慧體可觀測性：如何在生產環境中監控和評估LLM智慧體

在將傳統軟體部署到生產環境時，你通常能預期會發生什麼。使用者點選按鈕、填寫表單、按照預定路徑導航。你的測試套件可能覆蓋了80-90%的程式碼路徑，監控工具追蹤常見的指標：錯誤率、響應時間、資料庫查詢。當出現問題時，你會檢視堆疊跟蹤和日誌。

智慧體的工作方式不同。它們接收自然語言輸入，輸入空間是無限的。它們由大型語言模型驅動，這些模型對提示的細微變化很敏感，並且可能對相同輸入產生不同輸出。它們透過多步推理鏈、工具呼叫和檢索操作做出決策，這些在開發過程中很難完全預見。

這意味著智慧體的生產監控需要與傳統可觀測性不同的能力。在本文中，我們將探討為什麼智慧體可觀測性存在獨特挑戰，需要監控什麼，以及我們從大規模部署智慧體的團隊中學到的經驗。

**為什麼智慧體與傳統軟體不同**

在與部署智慧體到生產環境的團隊合作中，我們觀察到兩個關鍵區別影響監控方法。

**智慧體有無限的輸入空間**：傳統軟體的輸入空間是有限的、受約束的。使用者透過按鈕、下拉選單、表單和特定格式的API呼叫進行互動。而智慧體主要接受自然語言作為輸入。自然語言沒有固定的有效輸入集。使用者可以用無數種方式表達同一請求——模糊或具體、正式或隨意、在一條訊息中組合多個意圖或將一個請求分散到多次對話中。

**LLM對細微變化不魯棒**：LLM表現出提示敏感性和非確定性行為。即使輸入中的微小變化也可能導致不同輸出，相同輸入有時會產生不同結果。這意味著開發中觀察到的行為可能與生產中的行為不匹配。

**生產監控對智慧體來說不同**：傳統的APM工具關注延遲、流量、錯誤和飽和度等指標。它們是為結構化、確定性系統設計的。智慧體可觀測性需要監控輸入和輸出本身，而不僅僅是系統指標。

**監控自然語言互動**：當智慧體與使用者進行對話時，主要訊號存在於對話本身。你需要捕獲完整的提示-響應對、多輪上下文以及智慧體的軌跡和中間步驟。這不同於傳統日誌記錄。

**擴充套件人工判斷的挑戰**：自然語言互動通常需要人工判斷來正確評估。在開發中，這可在小範圍內處理。但在生產中，你可能要處理成千上萬次互動。我們發現了兩種互補方法有效。

**用於結構化人工審查的標註佇列**：標註佇列有助於使人工審查儘可能高效。它們將特定執行以結構化格式呈現，並帶有預定義評估標準。你可以路由特定軌跡進行審查、定義審查標準、實現團隊協作，並建立反饋迴圈。

**LLM作為人工判斷的代理**：使用LLM本身來擴充套件人工判斷。你可以配置線上評估器自動在生產流量上執行，檢查無參考質量指標、安全合規性、格式驗證和主題分類。但LLM評估也有自己的成本和限制：延遲、成本、準確性和評估漂移。因此，我們建議將自動化評估與定期人工審查相結合。

**生產智慧體可觀測性的工具**：LangSmith提供了Insights Agent用於自動發現使用模式和錯誤模式；線上評估用於持續質量監控；儀表板和警報用於跟蹤關鍵指標。傳統APM工具在智慧體監控中不足：它們無法有效處理自然語言資料，缺乏與開發工作流的緊密整合，並且主要面向基礎設施工程師而非跨職能團隊。

**開放挑戰**：包括評估器準確性和可靠性、大規模成本、隱私和合規性。

**結論**：智慧體與傳統軟體不同，需要新的監控方法。結構化標註佇列、自動模式發現和持續評估是我們將生產智慧體行為變得可觀察和可改進的方法。