LangSmith Engine 是 LangSmith 平臺的新功能，旨在自動化代理的改進流程。傳統上，開發團隊需要手動檢視追蹤資料、尋找故障模式、編寫評估和修復程式碼。現在，Engine 可以自動執行這些步驟：它持續監控生產追蹤，將相似的故障聚類為命名問題，並針對你的程式碼診斷根因，然後自動生成拉取請求和評估器。
LangSmith Engine 目前已公開測試版可用。
每個代理團隊都在執行的迴圈
典型的代理開發流程包括：追蹤代理行為、識別故障模式、修改提示或工具、建立資料集、執行實驗以及部署。LangSmith 之前已提供追蹤檢視和實驗工具，但客戶反饋幾個痛點：難以從單個追蹤中發現模式、難以大規模跟蹤錯誤頻率、從生產資料建立離線評估示例繁瑣且易跳過、修復後缺乏針對性的評估器。
Engine 解決了這些問題：團隊可以看到聚類故障的優先順序列表，自動生成的修復方案，以及為測試套件提供的離線評估示例。
實際示例
假設你的代理是客服機器人。Engine 檢測到一批追蹤，其中使用者詢問取消訂閱，但代理的響應被線上評估標記為失敗，使用者反饋負面。Engine 將此聚類為一個命名問題：“代理無法準確處理訂閱取消請求。”它顯示嚴重性（高，影響12%的支援會話）、時間線（4天前開始，與最近部署相關），並提供相關追蹤連結。在你的倉庫連線後，Engine 讀取相關程式碼並識別根因：取消工具的描述模糊，導致代理在使用者僅詢問選項時就嘗試取消。Engine 自動生成一個拉取請求修復工具描述。同時，它提議建立一個自定義線上評估器，以持續監控該行為，並將失敗的追蹤拉入離線評估資料集。
Engine 針對每個問題採取的措施
對於每個發現的問題，Engine 提議三個解決方案：開啟拉取請求（需倉庫許可權）、建立自定義線上評估器、將失敗的追蹤新增到離線評估套件。每個已解決問題的修復都會增強評估覆蓋。
Engine 的工作原理
LangSmith Engine 由一個深度代理驅動，它可以訪問你的追蹤資料、評估反饋和原始碼。它監控多種訊號：顯式錯誤、線上評估失敗、異常、負面使用者反饋和異常行為。當多個追蹤中出現模式時，Engine 將它們聚類為單個命名問題。Engine 基於 LangSmith 現有追蹤和評估基礎設施構建，利用已有的評估結果來檢測覆蓋缺口。
客戶反饋
團隊如 Cogent、Harmonic 和 Campfire 已使用 Engine 解決了影響數千個追蹤的問題。他們能更早捕獲迴歸，更快釋出修復。
未來展望
LangSmith 團隊旨在讓代理改進迴圈更加自動化，使常見問題型別無需人工審查即可解決。LangSmith Engine 是第一步。
開始使用
LangSmith Engine 現已在公開測試版中。連線一個追蹤專案，可選連線倉庫，Engine 將自動從生產追蹤中發現問題。