LangSmith Engine 是 LangSmith 平台的新功能，旨在自動化代理的改進流程。傳統上，開發團隊需要手動查看追蹤數據、尋找故障模式、編寫評估和修復代碼。現在，Engine 可以自動執行這些步驟：它持續監控生產追蹤，將相似的故障聚類為命名問題，並針對你的代碼診斷根因，然後自動生成拉取請求和評估器。
LangSmith Engine 目前已公開測試版可用。
每個代理團隊都在運行的循環
典型的代理開發流程包括：追蹤代理行為、識別故障模式、修改提示或工具、創建數據集、運行實驗以及部署。LangSmith 之前已提供追蹤視圖和實驗工具，但客户反饋幾個痛點：難以從單個追蹤中發現模式、難以大規模跟蹤錯誤頻率、從生產數據創建離線評估示例繁瑣且易跳過、修復後缺乏針對性的評估器。
Engine 解決了這些問題：團隊可以看到聚類故障的優先級列表，自動生成的修復方案，以及為測試套件提供的離線評估示例。
實際示例
假設你的代理是客服機器人。Engine 檢測到一批追蹤，其中用户詢問取消訂閲，但代理的響應被在線評估標記為失敗，用户反饋負面。Engine 將此聚類為一個命名問題：“代理無法準確處理訂閲取消請求。”它顯示嚴重性（高，影響12%的支持會話）、時間線（4天前開始，與最近部署相關），並提供相關追蹤鏈接。在你的倉庫連接後，Engine 讀取相關代碼並識別根因：取消工具的描述模糊，導致代理在用户僅詢問選項時就嘗試取消。Engine 自動生成一個拉取請求修復工具描述。同時，它提議創建一個自定義在線評估器，以持續監控該行為，並將失敗的追蹤拉入離線評估數據集。
Engine 針對每個問題採取的措施
對於每個發現的問題，Engine 提議三個解決方案：打開拉取請求（需倉庫權限）、創建自定義在線評估器、將失敗的追蹤添加到離線評估套件。每個已解決問題的修復都會增強評估覆蓋。
Engine 的工作原理
LangSmith Engine 由一個深度代理驅動，它可以訪問你的追蹤數據、評估反饋和源代碼。它監控多種信號：顯式錯誤、在線評估失敗、異常、負面用户反饋和異常行為。當多個追蹤中出現模式時，Engine 將它們聚類為單個命名問題。Engine 基於 LangSmith 現有追蹤和評估基礎設施構建，利用已有的評估結果來檢測覆蓋缺口。
客户反饋
團隊如 Cogent、Harmonic 和 Campfire 已使用 Engine 解決了影響數千個追蹤的問題。他們能更早捕獲迴歸，更快發佈修復。
未來展望
LangSmith 團隊旨在讓代理改進循環更加自動化，使常見問題類型無需人工審查即可解決。LangSmith Engine 是第一步。
開始使用
LangSmith Engine 現已在公開測試版中。連接一個追蹤項目，可選連接倉庫，Engine 將自動從生產追蹤中發現問題。