如何在削減團隊規模的同時壓縮Token預算
輝達CEO黃仁勳提出了一個評估工程師價值的測試:如果一位年薪50萬美元的工程師每年使用的AI Token價值不到其薪水一半,他會感到“深切擔憂”。他透露輝達正朝著每年20億美元的Token賬單邁進。這一觀點揭示了企業在AI投入與人力成本之間的權衡。儘管許多公司透過裁員來資助AI支出,但Gartner調查顯示,約80%的企業在裁員後並未獲得相應的回報。文章還探討了透過快取、模型路由、RAG等方式最佳化Token開銷的方法,並強調保留人才的重要性。
輝達執行長黃仁勳在GTC 2026閉幕之際接受All-In Podcast採訪時,提出了一項評估工程師價值的獨特標準:如果一位年薪50萬美元的工程師每年消耗的AI Token價值不足其薪水的一半,他會“深感憂慮”。他證實,輝達正致力於為其工程團隊實現每年20億美元的Token支出目標。
黃仁勳所描述的,正是許多企業已悄然做出的權衡:曾經支付給人力的資金,正越來越多地流向Token費用。四大超大規模雲服務商2026年的資本支出合計約7000億美元,幾乎是去年的兩倍。與此同時,再就業公司Challenger, Gray & Christmas的資料顯示,AI已連續四個月成為美國企業裁員的首要原因。
Meta內部備忘錄顯示,今年5月裁減8000個崗位是為了抵消公司的鉅額投資——該季度其營收增長了33%。這些公司的裁員並非生存之舉,而是為了融資。問題在於,融資並未帶來預期的回報。Gartner對350位年收入超10億美元企業高管的調查發現,約80%的公司裁減了員工,卻未發現與投資回報率有任何關聯。分析師Helen Poitevin直言:“裁員或許能騰出預算空間,但不會創造回報。”
Uber則從另一個角度體驗了Token的教訓:去年12月為5000名工程師提供AI編碼工具後,到今年4月就已耗盡2026全年的AI預算。營運長Andrew Macdonald承認,儘管70%的已提交程式碼由AI生成,但這些與客戶能感知的體驗之間尚缺乏關聯:“這種聯絡目前還不存在。”
將這兩個失敗案例放在一起,真正的問題便浮出水面:企業將Token費用視為固定支出,而將人力視為可調節的柔性資源,但事實恰恰相反。裁員是一次性的,且會帶走機構知識。而Token預算,只要有人願意最佳化,其實可以在多個環節上壓縮。
Token預算的彈性空間
最簡單的最佳化也是最不引人注目的:避免重複支付處理相同文本的費用。提示快取如今已成為主流API供應商的標準功能,根據Anthropic和OpenAI的公開定價,它能將重複輸入的Token費用降低高達90%,因為靜態內容(如系統指令和參考文件)只需處理一次,再次讀取時費用極低。
安全公司ProjectDiscovery記錄了其透過重構提示,將快取命中率從7%提升至84%,從而將LLM總支出削減了59%至70%。這一項工程改造所節省的預算,已超過大多數因AI而裁員的公司所節省的金額。
下一個槓桿是將任務路由到適當規模的模型。供應商的定價表顯示,旗艦模型每Token的費用是較小模型的五倍,而許多生產工作負載卻預設使用最昂貴的模型處理日常分類和摘要任務。批處理可為不需要即時響應的任務提供額外50%的折扣。
檢索增強生成(RAG)則從另一個角度解決問題:僅向模型傳遞知識庫中相關的片段,而非全部內容。提示壓縮則去除了每次呼叫中冗餘的示例。開源模型可進一步降低成本,對於願意自行管理基礎設施的團隊,它們處理日常任務的價格僅為前沿API價格的一小部分。
最佳化的另一半是人
最佳化Token賬單隻有在節省的資金用於生產性用途時才有意義。最有力的證據表明,這些資金應用於人力投入。Poitevin的研究發現,那些提高投資回報率的組織,是利用AI增強而非取代員工的企業。
Klarna進行了一場公開實驗:用基於OpenAI的AI助手取代了約700個客服崗位,之後客戶滿意度卻下降了。執行長Sebastian Siemiatkowski告訴彭博社,很少有高管會承認這一點:“結果質量下降,這不可持續。”這家金融科技公司如今採用混合模式:AI處理常規事務,而重新僱用的員工負責需要判斷力的工作。Gartner預計這種模式將普及,並預測到2027年,一半因AI而裁減客服員工的公司將重新僱用他們。
有一個勞動力投資因最佳化邏輯而變得緊迫。斯坦福大學人本AI研究所發現,2024年以來,22至25歲軟體開發人員的就業率下降了近20%,而年長群體的就業率卻在增長。這意味著企業正在拆除未來五年需要他們指導這些系統的資深工程師的培養基地。
一家剛剛透過工程手段將Token賬單削減60%的公司,完全有預算空間繼續招聘初級員工。是否這樣做,是一個領導力決策,而非財務決策。
黃仁勳的言論將在財報電話會議中持續迴響,資本支出數字也將繼續攀升。最終勝出的公司,不會是那些在Token上投入最多或為支付Token費用而裁員最多的公司,而是那些意識到Token預算才是彈性空間、透過工程而非裁員來壓縮它,並將節省的資金投入到讓Token變得有價值的人身上的公司。