如何使用LangSmith追蹤調試編碼代理
使用LangSmith追蹤Claude Code、Codex、Cursor、Copilot等編碼代理。檢查工具調用、子代理、錯誤、成本和重試。
你的編碼代理是一個黑盒。以下是打開它的方法。
上週,我試圖為一個報表端點構建CSV導出功能,我的編碼代理拆分出一個子代理來處理分頁。但它一直構建錯誤的東西。它按偏移量分頁,而我們的數據是基於游標的。我指出問題,編輯指令,重新運行,它又以略微不同的方式返回。我浪費了時間和令牌,從那些自信但錯誤的答案中學不到任何東西。
最終我放棄了,重新開始。
但關鍵是:如果我看過追蹤,我就能立刻發現問題。在交接過程中,父代理將子代理指向了代碼庫另一部分的一箇舊助手——那個助手是按偏移量分頁的。與其重新解釋需求,我只需要強調那個棄用的助手。
如果你使用過編碼代理,你也經歷過類似的挫敗。這就是為什麼我們通過LangSmith讓你的代理的決策、中間步驟和輸出變得易於觀察。
你無法調試你看不到的東西
編碼代理現在已成為大多數開發者工程棧的一部分。它們編寫代碼、調用工具,並進行更長的會話。開發者會不斷選擇不同的代理以適應手頭的任務。你可能用Claude運行shell,用Cursor處理內聯編輯,用Copilot審查PR,用Codex起草工作流。每個代理都有自己的記錄方式。有些暴露鈎子,有些發出OpenTelemetry,有些依賴插件。
這種碎片化意味着每次切換工具時你的調試工作流都會改變。Codex中的工具調用和Cursor中的工具調用可能代表相同的工作,但每個代理以不同的結構、元數據和術語記錄。如果你想在所有代理中回答一個簡單的問題——比如這周哪些會話失敗以及為什麼——你最終要檢查多個地方,使用多種心智模型來處理多種事件格式。
LangSmith為團隊提供了一個跨所有主流編碼代理的可觀測層。我們支持對Claude Code、Codex、Cursor、GitHub Copilot Chat、Pi、OpenCode和DeepAgents Code (dcode)的追蹤。來自這些工具的會話以追蹤形式落入LangSmith,使用標準化結構,你可以檢查、查詢和分享。你可以追蹤代理工作流,跟蹤子代理扇出,檢查模型調用,並在脱敏後分享結果。
追蹤會話的樣子
一旦配置完成,你的會話會以和生產代理運行相同的方式出現在LangSmith中。一個追蹤可以包括:用户和助手輪次、帶有輸入、輸出、緩存、令牌和成本的模型調用、工具調用、Shell命令、MCP活動、子代理調用、錯誤和重試、時間和元數據。
深入瞭解
從調試的角度來看,這種可見性至關重要。你不是隻審查最終的差異,而是可以重構會話,找到失敗點,並利用這些信息為未來的運行服務。
以下是實際的樣子:
重構:按thread_id過濾,按順序查看整個運行。用户請求、助手輪次、模型/工具調用、子代理、重試、時間、令牌和成本。
調試:放大感興趣的區域。這裏是一次失敗的測試運行。我們看到序列:測試失敗 -> 代理讀取斷言 -> 代理編輯文件(不是重新運行)-> 測試通過。差異只顯示最後的綠色勾號——追蹤顯示到達那裏的捷徑。
改進:將錯誤轉化為代理要遵循的規則。
這樣,你從每個會話中學到的教訓適用於所有地方。例如,技能(Skills)可以跨代理工作。你可以保存失敗的會話,用於評估(瞭解更多),證明你的修復確實有效——並且如果它們退化,也能捕獲。除了理解一次糟糕的運行,目標總是確保下次運行不會以同樣的方式失敗。
超越會話回放,團隊使用追蹤來比較不同代理在相同工作流上的行為,發現隱藏的子代理扇出,並識別需要審查的會話。按延遲、成本或令牌使用量過濾也是成本治理的起點。
一個跨所有編碼代理的調試工作流
單個編碼代理的日誌可以幫助調試一次運行。但一旦你採用多個編碼代理,每個調試工作流都要重新開始,因為每個提供者暴露不同的鈎子,併發出不同形狀的有效載荷。
LangSmith將所有會話映射到一個單一的共享追蹤模式。一個Claude Code會話、一個Cursor會話和一個OpenCode會話都攜帶相同核心字段,因此你可以以相同的方式搜索、過濾、比較和檢查它們。閲讀更多關於追蹤元數據合約的信息。
這使我們超越了單個提示修復。一旦每個代理的運行落在同一個地方,我們可以有效地改進我們的代理羣:哪些工作流代理處理得好,哪些失敗重複,哪些技能或指令需要更新,以及更改是否真的提高了性能。
開始使用
我們為每個編碼代理提供設置説明。你可以找到Claude Code、Codex、Cursor、GitHub Copilot Chat、Pi、OpenCode、dcode的集成步驟。
一旦配置完成,你無需在編碼代理聊天中更改任何監測。像往常一樣運行你的代理,會話會以追蹤形式出現在LangSmith中。
找到你的編碼代理集成並開始追蹤。
看你的代理真正在做什麼
LangSmith,我們的代理工程平台,幫助開發者調試每個代理決策,評估更改,並一鍵部署。
嘗試LangSmith
獲取演示