跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

Wattage: 一个用于AI智能体的token消耗分析器和成本回归门

文章摘要

Wattage是一个开源工具,用于分析AI智能体的token消耗和成本,提供详细的报告和CI集成,帮助优化智能体效率。它通过读取OTLP追踪文件,为每次调用定价并运行多种检测器,识别常见效率问题,如前缀抖动、非收敛循环等。

来源Hacker News AI作者: faizanraza03
Wattage: 一个用于AI智能体的token消耗分析器和成本回归门
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

Wattage 是一个面向 AI 智能体的开源 token 消耗分析器和成本回归门。它能够读取 OpenTelemetry (OTLP) JSON 格式的追踪导出文件,无需配置、API 密钥,完全离线运行,为每一次调用定价并执行多种效率检测。

快速上手

使用 uvx wattage report trace.json 即可分析追踪文件。例如,针对仓库中自带的示例追踪文件,运行 uv run wattage report examples/sample_trace.json 会输出一个终端表格,显示总成本、token 细分和效率等级(如 A 级)。也可以使用 --html 参数生成独立的 HTML 火焰图。

核心功能:收敛引擎

Wattage 的突出特点是其收敛引擎,特别是非收敛检测器。它能够捕捉智能体在循环中无效震荡的模式,包括时间戳变化的重复尝试、两种策略间的振荡,以及每次调用技术上不同但未学到任何东西的“看似高效”的停滞。与 SHA-256 精确匹配基线相比,Wattage 在基准测试中实现了 1.00 的 F1 分数(精确率 1.00,召回率 1.00),而基线 F1 仅为 0.25。此外,Wattage 的前缀抖动修复模拟显示,通过启用稳定前缀的提示缓存,成本可降低 44.7%。

八大检测器

Wattage 在 wattage report 中运行八个检测器:前缀抖动(稳定上下文被重新发送而非缓存)、缓存间隙(尝试缓存但后续读取未充分利用)、冗长性(输出远超所需)、冗余工具调用(相同工具重复调用)、非收敛(循环无效)、检索抖动(重复检索无结果)、模型不匹配(用昂贵模型处理可由便宜模型完成的任务)、推理过度支出(简单步骤使用大量推理 token)。每种问题都有实际的美元成本,并附带具体修复建议,同时标注质量风险等级(无/低/审查)。

CI 集成

Wattage 提供 wattage ci 命令作为成本回归门。在 GitHub Actions 工作流中,可以配置在 PR 中运行,当智能体性能退化超过阈值时(如分数低于 80、成本增加超过 5%、存在严重问题),构建失败并发布 PR 注释,包含每个检测器的 delta 表。同时支持 SARIF 和 JUnit XML 输出,便于集成到其他 CI 系统。基线文件是一个小型 JSON 文件,仅在通过门的运行中更新,避免噪声污染。

徽章与贡献

使用 uv run wattage badge 可生成 README 徽章,可在 CI 中自动更新。Wattage 采用 Apache-2.0 许可证,贡献者可通过 Python entry-point 组添加新检测器,无需修改核心管道。

展开要点与分析

文章情报

工程师进阶

要点

  • Wattage可以分析OTLP追踪文件,提供每次调用的定价和效率检测。
  • 包含8种检测器,可识别常见效率问题,如前缀抖动、非收敛循环等。
  • 提供CI集成,可作为成本回归门,在PR中自动检查性能退化。
  • 支持生成可分享的HTML火焰图和README徽章,便于持续监控。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。