賬單衝擊讓高管們重新思考AI這件事

本週的The Register Kettle播客深入探討了AI成本飆升如何讓企業高管震驚，以及Tokenminning這一新興做法能否幫助行業降溫。主持人Brandon Vigliarolo與記者Lindsay Clark和撰稿人Joab Jackson一起，圍繞近期關於企業AI成本上漲的報道展開討論，並介紹了一個流行的開源專案如何透過Tokenminning來對抗Tokenmaxxing。

Lindsay Clark首先介紹了KPMG的一份重要報告。該報告調查了20多個國家的2000多名高管，發現29%的人難以理解AI部署的運營成本，幾乎一半的人在成本超過預期價值時考慮重新調整部署節奏。這意味著企業不再盲目使用最昂貴的模型，而是開始尋求混合模型策略，結合低成本和高質量模型來最佳化支出。

Brandon指出，Anthropic、OpenAI和GitHub等已經從固定訂閱費轉向基於Token的使用計費。這種模式在初期看似便宜，但隨著使用量增加，賬單迅速膨脹。Brandon認為，AI公司面臨兩難：收費過高會促使客戶尋找替代方案（如開源中國模型），收費過低則無法盈利。這種定價困境使得AI實驗室必須謹慎平衡。

Clark補充了Gartner的研究，顯示到2028年，每個開發者的AI編碼代理成本將超過其全球平均工資。在印度等低薪地區，這一成本已經超過了當地開發者工資。Gartner還發現，Token消耗與生產力提升之間沒有直接關係，過度使用反而可能降低程式碼質量。她提到Cockroach Labs的CEO Spencer Kimball也持有類似觀點，強調合理使用模型的重要性。

Joab Jackson介紹了一個Netflix工程師的個人專案——Tokenminning工具。該工程師驚訝於Claude Sonnet的一次除錯任務產生了287美元賬單，於是檢查了輸入內容，發現大量冗餘資訊（如資料庫模式、JSON模板、日誌檔案）。他開發了多個“壓縮器”模組來去除冗餘，從而節省成本。該工具在開源後迅速流行，幫助使用者節省了數十萬美元。

儘管Tokenminning透過最佳化上下文視窗有效降低了成本，但仍有侷限性：當對話超過上下文視窗時，歷史資訊需要重新傳送。這一工具反映了行業對AI成本控制的需求日益迫切，也促使企業重新審視AI部署的經濟性。