Databricks 在博客中介绍了 Unity Gateway Insights。文章开篇指出,团队在削减 AI 成本时往往先想到预算控制或改用开源模型,但对智能体追踪记录的分析还能揭示其他节省空间。Databricks 在自身推广编码智能体的过程中,通过追踪分析得到三点发现:离线回放显示从 Opus 4.8 升级到 Opus 5 没有带来性能提升,因此继续使用更便宜的 4.8;修复常见的 MCP 错误后,估计每年可挽回约 120 万美元成本;追踪还显示简单提示被发送给了昂贵模型,促使团队采用智能路由。
Unity Gateway Insights 正是基于这些经验推出。它会自动借助 Genie 分析数百万条智能体追踪,并与企业业务数据和本体结合,指出 token 被浪费的地方:反复出现的 MCP 错误、跑在昂贵前沿模型上的简单任务,以及值得转化为共享技能的重复工作流。所有分析都在企业业务语境中完成,并与其他数据处于同一治理框架下。
使用方式上,如果流量已经经过 Unity Gateway,用户可打开 AI Gateway 下的 Observability 再进入 Insights,针对最近一天、七天或三十天生成报告。报告围绕编码智能体部署的 token 经济性回答几个问题:人们在做哪些工作,Insights 会比较各工作流的会话占比与 token 占比,例如某个工作流占 10% 的会话却消耗 35% 的 token,那就是应优先查看的对象;钱可以在哪里省,Insights 展示 token 流向,并按成本高低对各类浪费排序,对每个重复工作流还会生成一段可复制的提示,帮助将其转化为共享技能。每条发现都链接到示例会话,便于打开查看背后追踪记录。用户还可以在报告中最多加入 10 个自定义问题,例如最新模型是否值得团队使用;若要深入,可继续与 Genie 对话,比如询问本月哪个 MCP 服务器浪费 token 最多、由谁负责,从而直接得到一份可发送的缺陷报告。
文章进一步解释了每类浪费背后的机制。关于 MCP 错误与浪费:工具调用失败后,智能体会重试或绕行直到完成任务,于是会话看起来成功,但每次重试都在产生费用。Databricks 找到的 120 万美元来自 MCP 服务器中仅仅七个小的缺陷,其中包括 49.9 万美元的浪费 token 和 1.2 万小时的工程师等待时间,而修复全部七个缺陷只花了约一小时。关于低效模型使用:Insights 会评估每个前沿模型会话中任务的复杂程度,统计其中快速、例行的任务及其消耗的 token,这些正是智能路由可以转交给更便宜模型、同时把前沿模型留给真正需要的工作的会话。关于可固化的常见工作流:当一个工作流至少在三个会话中出现、或跨越两名工程师重复出现时即被计入,共享技能可以提前把步骤交给智能体,避免每个会话都重新推演这些步骤。
文章强调,发现这类浪费需要完整记录每个智能体会话的每一步,包括输入输出、工具调用、子智能体、中间步骤、延迟和 token 成本。独立网关只记录经过它的请求;要捕获会话其余部分,就得自行给每个编码智能体埋点,再把追踪导出到数据平台分析。即便把 Claude Code 指向这些追踪,用户仍需自行设计调查方法,也没有 Genie 本体那样的业务地图。Insights 运行的是 Databricks 在向数千名工程师推广编码智能体时形成的调查流程:它会抽样会话,按工作类型归入不同工作流,再检查每个工作流是否存在失败的 MCP 工具、臃肿的上下文、简单任务使用前沿模型以及重复工作流,并按涉及的 token 量排序。
这一能力依赖四项独立网关无法具备的条件。第一,每个智能体都被自动追踪:Unity Gateway 是编码智能体请求经过的控制平面,工程师用 ug CLI 启动 Claude Code、Codex 或 GitHub Copilot 时,ug 会自动开启各智能体自带的 OpenTelemetry 追踪,团队无需自行埋点,追踪数据进入统一的追踪表,即 Unity Catalog 中由用户拥有的受治理 Delta 表,采用任何工具都可读取的开放格式。第二,了解业务的 Genie:Genie 负责编写 SQL 并读取会话,借助 Genie 本体,其答案会使用企业自己的项目名称和业务细节。第三,支撑数百万条追踪的规模:Databricks SQL 以处理最大数据表同等的规模和性能查询完整追踪历史。第四,默认锁定:追踪包含提示、代码和工具输出,因此在管理员通过 Unity Catalog 授权和行过滤放开之前,只有表的所有者可以查询;Insights 就地读取该表,无需导出最敏感的数据即可完成分析。
入门方面,如果开发者已经通过 Unity Gateway 运行编码智能体,今天就能生成第一份报告:先设置统一追踪表,让 Unity Gateway 记录追踪;再让团队用 ug CLI 启动编码智能体;然后在工作区打开 AI Gateway 下的 Observability 再进入 Insights 生成报告,详情参见 Insights 文档。