从.com时代的带宽危机看AI Token成本焦虑

在我的职业生涯初期，互联网带宽极度昂贵。一条T1线路只能提供1.544 Mbps的带宽，月租却高达1000美元。而如今，千兆光纤入户的月费仅约60美元，容量却是T1的600倍以上。那时，带宽是每个产品团队必须面对的第一道坎：编码格式如何选？压缩比多少？功能每用户要消耗多少传输成本？如何更快获得更多容量？整个工程学科都围绕着这些约束运转——优化是真实的，焦虑也是真实的，而这一切在当时的经济条件下完全合理。

然而在随后的十年里，带宽价格暴跌。大规模基础设施建设、供应商竞争以及传输技术的持续进步，使得每兆比特的成本一路下滑。曾经最忧心的问题，现在不过是计算中的小数点后几位。如今几乎没有人会为带宽稀缺而设计产品：成本虽然在技术账面上依然存在，但相对于整个系统来说已低到可以忽略不计。

当前AI领域的Token成本正处在与当年带宽相似的阶段。Anthropic的收入在过去一年内增长了超过10倍，这直接反映了token消费的高速扩张，也是企业和开发者真实支出的镜像。对于认真构建基于大模型应用的人来说，这些成本是真实、显著且持续增长的。正确的应对方式与当年如出一辙：优化。缓存策略、模型选择、提示词效率、上下文窗口管理，以及NVIDIA与微软在定制芯片上的全力推进——所有这些都值得投入认真的工程精力。在当前的token成本下，精心设计的架构与粗放架构之间的差距巨大，节省的效果非常明显。

从带宽时代传承下来的真正经验并非技术层面，而是心态层面。那时候，许多人对互联网产品的经济性能否规模化持有实实在在的焦虑。成本看起来是结构性的、永久的。聪明的人建立了整套战略框架，认为带宽稀缺是永恒的风景线。但事实告诉我，市场有能力解决这个问题。模型提供商之间的竞争已在推动降价，NVIDIA、微软等公司的定制芯片努力正在加速，每一代模型的效率都在提升。方向毋庸置疑——只需三年还是十年需要等待，但轨迹已经确定。

有一天，花费数十亿token会像今天传输数十亿比特一样：成本还存在，但很微小，不再是你设计产品的核心约束。

所以，现在尽管优化，节省是真实的，工作有价值。但带着这样的信心构建：约束是暂时的，而非永久的。那些把带宽稀缺内化为第一性原则而非当前条件的团队，最终没能挺过转变。而那些在约束内优化、同时为超越约束的世界设计架构的团队，则建造了持久的东西。