使用 MLflow AI Gateway 進行 LLM 追蹤
MLflow AI Gateway 可以自動記錄 LLM 調用的追蹤信息，幫助開發者調試智能體應用和編碼助手。文章介紹了其用法、與 LiteLLM 的集成、對 Copilot CLI 的支持，以及追蹤作為擴展問題的討論。
文章情報
要點
- MLflow AI Gateway 能夠捕獲 LLM 調用的追蹤日誌，無需修改代碼。
- 支持通過 LiteLLM 以 Ollama 為提供者進行本地測試。
- Copilot CLI 等工具可通過設置環境變量接入網關進行追蹤。
- 對於大規模系統，追蹤可幫助解決併發請求的日誌篩選難題。
為甚麼重要
這條新聞值得關注，因為MLflow AI Gateway 能夠捕獲 LLM 調用的追蹤日誌，無需修改代碼。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
在智能體應用和編碼助手日益流行的今天，開發者往往只關注令牌消耗量，卻難以窺見 LLM 調用背後的細節。例如，Claude Code、Gemini CLI、Codex、OpenCode、Copilot CLI 等工具會報告消耗的令牌數，但用户並不清楚編碼代理與 LLM 之間具體發生了什麼：用户查詢提交後，代理使用了哪些工具？發送給 LLM 的完整提示詞是什麼？智能體框架可能會重寫原始提示詞，並且內置了系統提示詞，這些通常隱藏在源代碼中，除非深入查看，否則難以發現。這本身不是壞事，但當調試提示詞效果不佳時，瞭解實際發送給 LLM 的內容是非常有用的調試手段。
MLflow AI Gateway 提供了一種自動化的追蹤解決方案。通過將 LLM 調用指向指定的網關端點，追蹤日誌便會自動生成（也可以選擇禁用）。這意味着無需修改現有代碼即可獲得調用細節。對於本地測試，可以部署一個本地 MLflow 服務器，並通過 LiteLLM 將 Ollama 設置為提供者，從而快速體驗。目前 MLflow AI Gateway 尚未支持速率限制，但該功能已列入開發計劃。
MLflow AI Gateway 還支持直通（passthrough）調用。例如，如果配置的是 Gemini 網關，則可以直接使用 Gemini SDK 進行調用，但無法通過 Anthropic SDK 調用。對於已經採用 LiteLLM 的團隊，MLflow 可以作為 LiteLLM 的可觀測性後端，提供豐富的追蹤能力。
在編碼助手場景中，通過設置環境變量，可以讓 Copilot CLI 等工具通過 MLflow AI Gateway 進行 LLM 調用。例如，設置 COPILOT_PROVIDER_BASE_URL、COPILOT_PROVIDER_TYPE、COPILOT_PROVIDER_API_KEY 和 COPILOT_MODEL 後，啓動 Copilot CLI，即可在 MLflow 界面中查看完整的追蹤信息。文章以實際案例展示瞭如何通過該方式揭示編碼代理的內部行為，包括系統提示詞、用户輸入和工具調用等。
此外，文章還提到了基於 eBPF 和 OTel 的可觀測性方案，這些方案同樣適用於智能體框架和 LLM 提供商的 SDK，但效果因情況而異。最後指出，追蹤本質上是一個擴展性問題：在小規模下可以手動調試，但在高併發環境下，從海量日誌中提取單次請求的關聯信息極具挑戰性，而追蹤工具能顯著降低這一難度。