使用 MLflow AI Gateway 進行 LLM 追蹤
MLflow AI Gateway 可以自動記錄 LLM 呼叫的追蹤資訊，幫助開發者除錯智慧體應用和編碼助手。文章介紹了其用法、與 LiteLLM 的整合、對 Copilot CLI 的支援，以及追蹤作為擴充套件問題的討論。
文章情報
要點
- MLflow AI Gateway 能夠捕獲 LLM 呼叫的追蹤日誌，無需修改程式碼。
- 支援透過 LiteLLM 以 Ollama 為提供者進行本地測試。
- Copilot CLI 等工具可透過設定環境變數接入閘道器進行追蹤。
- 對於大規模系統，追蹤可幫助解決併發請求的日誌篩選難題。
為什麼重要
這條新聞值得關注，因為MLflow AI Gateway 能夠捕獲 LLM 呼叫的追蹤日誌，無需修改程式碼。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
在智慧體應用和編碼助手日益流行的今天，開發者往往只關注令牌消耗量，卻難以窺見 LLM 呼叫背後的細節。例如，Claude Code、Gemini CLI、Codex、OpenCode、Copilot CLI 等工具會報告消耗的令牌數，但使用者並不清楚編碼代理與 LLM 之間具體發生了什麼：使用者查詢提交後，代理使用了哪些工具？傳送給 LLM 的完整提示詞是什麼？智慧體框架可能會重寫原始提示詞，並且內建了系統提示詞，這些通常隱藏在原始碼中，除非深入檢視，否則難以發現。這本身不是壞事，但當除錯提示詞效果不佳時，瞭解實際傳送給 LLM 的內容是非常有用的除錯手段。
MLflow AI Gateway 提供了一種自動化的追蹤解決方案。透過將 LLM 呼叫指向指定的閘道器端點，追蹤日誌便會自動生成（也可以選擇停用）。這意味著無需修改現有程式碼即可獲得呼叫細節。對於本地測試，可以部署一個本地 MLflow 伺服器，並透過 LiteLLM 將 Ollama 設定為提供者，從而快速體驗。目前 MLflow AI Gateway 尚未支援速率限制，但該功能已列入開發計劃。
MLflow AI Gateway 還支援直通（passthrough）呼叫。例如，如果配置的是 Gemini 閘道器，則可以直接使用 Gemini SDK 進行呼叫，但無法透過 Anthropic SDK 呼叫。對於已經採用 LiteLLM 的團隊，MLflow 可以作為 LiteLLM 的可觀測性後端，提供豐富的追蹤能力。
在編碼助手場景中，透過設定環境變數，可以讓 Copilot CLI 等工具透過 MLflow AI Gateway 進行 LLM 呼叫。例如，設定 COPILOT_PROVIDER_BASE_URL、COPILOT_PROVIDER_TYPE、COPILOT_PROVIDER_API_KEY 和 COPILOT_MODEL 後，啟動 Copilot CLI，即可在 MLflow 介面中檢視完整的追蹤資訊。文章以實際案例展示瞭如何透過該方式揭示編碼代理的內部行為，包括系統提示詞、使用者輸入和工具呼叫等。
此外，文章還提到了基於 eBPF 和 OTel 的可觀測性方案，這些方案同樣適用於智慧體框架和 LLM 提供商的 SDK，但效果因情況而異。最後指出，追蹤本質上是一個擴充套件性問題：在小規模下可以手動除錯，但在高併發環境下，從海量日誌中提取單次請求的關聯資訊極具挑戰性，而追蹤工具能顯著降低這一難度。