Coinbase转向开源模型，AI开支减半同时令牌使用量增长

Coinbase首席执行官Brian Armstrong近日在社交媒体上详细介绍了公司如何在不增加AI支出的情况下支持令牌使用量的指数级增长。他分享了一系列策略，核心在于通过更好的默认设置、路由和缓存来实现成本优化。Armstrong强调，目标不是通过设置上限或发送警报来限制使用，而是通过建设更智能的基础设施，使增长可持续。

首先，Armstrong指出默认设置的重要性。工程师可以选择任何模型，但默认模型对成本影响巨大。Coinbase正在试验通过其LLM网关默认使用开源权重模型，如GLM 5.2和Kimi 2.7，同时鼓励工程师为特定任务选择合适模型。有趣的是，91%的员工从未达到使用上限，因此降低上限只会增加不必要的警报，而转向更便宜的默认模型是更有效的策略。代码审查环节使用多种模型，相互校验，进一步提升了整体质量。

其次，更好的路由机制显著降低了成本。在自定义的提示处理框架中，Coinbase预处理提示，并根据缓存命中率和模型定价将任务路由到最佳模型。例如，规划任务可能使用前沿模型，但执行任务使用前沿模型可能大材小用。Armstrong认为，最终不应该由人类选择模型，AI可以自动化这一任务。

第三，缓存优化是成本控制的关键。缓存未命中是推高成本的最简单方式。Coinbase的所有请求都具备缓存感知能力，尽可能重用热缓存。例如，在LibreChat中，正确实施缓存后，缓存命中率从5%跃升至60%。

此外，上下文管理也至关重要。Armstrong建议在切换任务时开启新会话，缩小文件上下文范围，断开未使用的工具连接。目标不是减少令牌使用量，而是减少令牌浪费。

最后，使用可见性让工程师了解其AI使用情况。工程师可以自由使用任意数量的令牌和模型，但使用情况被透明化，预期AI支出越多，产生的影响越大。

这些措施实践下来，Coinbase的AI支出几乎减半，而令牌使用量持续增长。Armstrong的帖子引发了社区广泛讨论，包括对开源模型后训练的建议，以及构建AI推理引擎以解决成本与可靠性问题的观点。