使用 MLflow AI Gateway 进行 LLM 追踪
MLflow AI Gateway 可以自动记录 LLM 调用的追踪信息，帮助开发者调试智能体应用和编码助手。文章介绍了其用法、与 LiteLLM 的集成、对 Copilot CLI 的支持，以及追踪作为扩展问题的讨论。
文章情报
要点
- MLflow AI Gateway 能够捕获 LLM 调用的追踪日志，无需修改代码。
- 支持通过 LiteLLM 以 Ollama 为提供者进行本地测试。
- Copilot CLI 等工具可通过设置环境变量接入网关进行追踪。
- 对于大规模系统，追踪可帮助解决并发请求的日志筛选难题。
为什么重要
这条新闻值得关注，因为MLflow AI Gateway 能够捕获 LLM 调用的追踪日志，无需修改代码。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
在智能体应用和编码助手日益流行的今天，开发者往往只关注令牌消耗量，却难以窥见 LLM 调用背后的细节。例如，Claude Code、Gemini CLI、Codex、OpenCode、Copilot CLI 等工具会报告消耗的令牌数，但用户并不清楚编码代理与 LLM 之间具体发生了什么：用户查询提交后，代理使用了哪些工具？发送给 LLM 的完整提示词是什么？智能体框架可能会重写原始提示词，并且内置了系统提示词，这些通常隐藏在源代码中，除非深入查看，否则难以发现。这本身不是坏事，但当调试提示词效果不佳时，了解实际发送给 LLM 的内容是非常有用的调试手段。
MLflow AI Gateway 提供了一种自动化的追踪解决方案。通过将 LLM 调用指向指定的网关端点，追踪日志便会自动生成（也可以选择禁用）。这意味着无需修改现有代码即可获得调用细节。对于本地测试，可以部署一个本地 MLflow 服务器，并通过 LiteLLM 将 Ollama 设置为提供者，从而快速体验。目前 MLflow AI Gateway 尚未支持速率限制，但该功能已列入开发计划。
MLflow AI Gateway 还支持直通（passthrough）调用。例如，如果配置的是 Gemini 网关，则可以直接使用 Gemini SDK 进行调用，但无法通过 Anthropic SDK 调用。对于已经采用 LiteLLM 的团队，MLflow 可以作为 LiteLLM 的可观测性后端，提供丰富的追踪能力。
在编码助手场景中，通过设置环境变量，可以让 Copilot CLI 等工具通过 MLflow AI Gateway 进行 LLM 调用。例如，设置 COPILOT_PROVIDER_BASE_URL、COPILOT_PROVIDER_TYPE、COPILOT_PROVIDER_API_KEY 和 COPILOT_MODEL 后，启动 Copilot CLI，即可在 MLflow 界面中查看完整的追踪信息。文章以实际案例展示了如何通过该方式揭示编码代理的内部行为，包括系统提示词、用户输入和工具调用等。
此外，文章还提到了基于 eBPF 和 OTel 的可观测性方案，这些方案同样适用于智能体框架和 LLM 提供商的 SDK，但效果因情况而异。最后指出，追踪本质上是一个扩展性问题：在小规模下可以手动调试，但在高并发环境下，从海量日志中提取单次请求的关联信息极具挑战性，而追踪工具能显著降低这一难度。