從.com時代的頻寬危機看AI Token成本焦慮

在我的職業生涯初期，網際網路頻寬極度昂貴。一條T1線路只能提供1.544 Mbps的頻寬，月租卻高達1000美元。而如今，千兆光纖入戶的月費僅約60美元，容量卻是T1的600倍以上。那時，頻寬是每個產品團隊必須面對的第一道坎：編碼格式如何選？壓縮比多少？功能每使用者要消耗多少傳輸成本？如何更快獲得更多容量？整個工程學科都圍繞著這些約束運轉——最佳化是真實的，焦慮也是真實的，而這一切在當時的經濟條件下完全合理。

然而在隨後的十年裡，頻寬價格暴跌。大規模基礎設施建設、供應商競爭以及傳輸技術的持續進步，使得每兆位元的成本一路下滑。曾經最憂心的問題，現在不過是計算中的小數點後幾位。如今幾乎沒有人會為頻寬稀缺而設計產品：成本雖然在技術賬面上依然存在，但相對於整個系統來說已低到可以忽略不計。

當前AI領域的Token成本正處在與當年頻寬相似的階段。Anthropic的收入在過去一年內增長了超過10倍，這直接反映了token消費的高速擴張，也是企業和開發者真實支出的映象。對於認真構建基於大模型應用的人來說，這些成本是真實、顯著且持續增長的。正確的應對方式與當年如出一轍：最佳化。快取策略、模型選擇、提示詞效率、上下文視窗管理，以及NVIDIA與微軟在定製晶片上的全力推進——所有這些都值得投入認真的工程精力。在當前的token成本下，精心設計的架構與粗放架構之間的差距巨大，節省的效果非常明顯。

從頻寬時代傳承下來的真正經驗並非技術層面，而是心態層面。那時候，許多人對網際網路產品的經濟效能否規模化持有實實在在的焦慮。成本看起來是結構性的、永久的。聰明的人建立了整套戰略框架，認為頻寬稀缺是永恆的風景線。但事實告訴我，市場有能力解決這個問題。模型提供商之間的競爭已在推動降價，NVIDIA、微軟等公司的定製晶片努力正在加速，每一代模型的效率都在提升。方向毋庸置疑——只需三年還是十年需要等待，但軌跡已經確定。

有一天，花費數十億token會像今天傳輸數十億位元一樣：成本還存在，但很微小，不再是你設計產品的核心約束。

所以，現在儘管最佳化，節省是真實的，工作有價值。但帶著這樣的信心構建：約束是暫時的，而非永久的。那些把頻寬稀缺內化為第一性原則而非當前條件的團隊，最終沒能挺過轉變。而那些在約束內最佳化、同時為超越約束的世界設計架構的團隊，則建造了持久的東西。