账单冲击让高管们重新思考AI这件事

本周的The Register Kettle播客深入探讨了AI成本飙升如何让企业高管震惊，以及Tokenminning这一新兴做法能否帮助行业降温。主持人Brandon Vigliarolo与记者Lindsay Clark和撰稿人Joab Jackson一起，围绕近期关于企业AI成本上涨的报道展开讨论，并介绍了一个流行的开源项目如何通过Tokenminning来对抗Tokenmaxxing。

Lindsay Clark首先介绍了KPMG的一份重要报告。该报告调查了20多个国家的2000多名高管，发现29%的人难以理解AI部署的运营成本，几乎一半的人在成本超过预期价值时考虑重新调整部署节奏。这意味着企业不再盲目使用最昂贵的模型，而是开始寻求混合模型策略，结合低成本和高质量模型来优化支出。

Brandon指出，Anthropic、OpenAI和GitHub等已经从固定订阅费转向基于Token的使用计费。这种模式在初期看似便宜，但随着使用量增加，账单迅速膨胀。Brandon认为，AI公司面临两难：收费过高会促使客户寻找替代方案（如开源中国模型），收费过低则无法盈利。这种定价困境使得AI实验室必须谨慎平衡。

Clark补充了Gartner的研究，显示到2028年，每个开发者的AI编码代理成本将超过其全球平均工资。在印度等低薪地区，这一成本已经超过了当地开发者工资。Gartner还发现，Token消耗与生产力提升之间没有直接关系，过度使用反而可能降低代码质量。她提到Cockroach Labs的CEO Spencer Kimball也持有类似观点，强调合理使用模型的重要性。

Joab Jackson介绍了一个Netflix工程师的个人项目——Tokenminning工具。该工程师惊讶于Claude Sonnet的一次调试任务产生了287美元账单，于是检查了输入内容，发现大量冗余信息（如数据库模式、JSON模板、日志文件）。他开发了多个“压缩器”模块来去除冗余，从而节省成本。该工具在开源后迅速流行，帮助用户节省了数十万美元。

尽管Tokenminning通过优化上下文窗口有效降低了成本，但仍有局限性：当对话超过上下文窗口时，历史信息需要重新发送。这一工具反映了行业对AI成本控制的需求日益迫切，也促使企业重新审视AI部署的经济性。