賬單衝擊讓高管們重新思考AI這件事

本週的The Register Kettle播客深入探討了AI成本飆升如何讓企業高管震驚，以及Tokenminning這一新興做法能否幫助行業降温。主持人Brandon Vigliarolo與記者Lindsay Clark和撰稿人Joab Jackson一起，圍繞近期關於企業AI成本上漲的報道展開討論，並介紹了一個流行的開源項目如何通過Tokenminning來對抗Tokenmaxxing。

Lindsay Clark首先介紹了KPMG的一份重要報告。該報告調查了20多個國家的2000多名高管，發現29%的人難以理解AI部署的運營成本，幾乎一半的人在成本超過預期價值時考慮重新調整部署節奏。這意味着企業不再盲目使用最昂貴的模型，而是開始尋求混合模型策略，結合低成本和高質量模型來優化支出。

Brandon指出，Anthropic、OpenAI和GitHub等已經從固定訂閲費轉向基於Token的使用計費。這種模式在初期看似便宜，但隨着使用量增加，賬單迅速膨脹。Brandon認為，AI公司面臨兩難：收費過高會促使客户尋找替代方案（如開源中國模型），收費過低則無法盈利。這種定價困境使得AI實驗室必須謹慎平衡。

Clark補充了Gartner的研究，顯示到2028年，每個開發者的AI編碼代理成本將超過其全球平均工資。在印度等低薪地區，這一成本已經超過了當地開發者工資。Gartner還發現，Token消耗與生產力提升之間沒有直接關係，過度使用反而可能降低代碼質量。她提到Cockroach Labs的CEO Spencer Kimball也持有類似觀點，強調合理使用模型的重要性。

Joab Jackson介紹了一個Netflix工程師的個人項目——Tokenminning工具。該工程師驚訝於Claude Sonnet的一次調試任務產生了287美元賬單，於是檢查了輸入內容，發現大量冗餘信息（如數據庫模式、JSON模板、日誌文件）。他開發了多個“壓縮器”模塊來去除冗餘，從而節省成本。該工具在開源後迅速流行，幫助用户節省了數十萬美元。

儘管Tokenminning通過優化上下文窗口有效降低了成本，但仍有侷限性：當對話超過上下文窗口時，歷史信息需要重新發送。這一工具反映了行業對AI成本控制的需求日益迫切，也促使企業重新審視AI部署的經濟性。