將300萬美元的AI賬單降至190萬美元
Flowstate是一個智慧代理,透過將AI請求路由到最合適的模型,並跟蹤每個專案的支出,幫助企業節省高達42%的AI成本。文章揭示了AI賬單膨脹的兩個主要原因:預設使用昂貴的旗艦模型以及缺乏成本歸屬。
如今,您的團隊中可能有人在用最昂貴的AI模型編輯幻燈片。這不是他們主動選擇的,而是預設設定。這種看不見的選擇每天重複數千次,AI賬單很快就會變得像工資單一樣龐大。
導致賬單膨脹的因素有兩個:預設模型不適合當前任務——本可以用更便宜的模型完成的工作卻支付了旗艦級價格;同時,這些任務在發票上是不可見的,只有一個總金額,無法區分用於哪個專案或模型。
Flowstate位於請求路徑中,旨在堵住這兩個漏洞。我們將每個提示路由到任務實際需要的模型,並將每一分錢與它所支付的工作掛鉤。沒有人會減少產出:原本花費300萬美元的相同輸出,現在只需190萬美元,而且您第一次能夠看到這筆錢實際買到了什麼工作。
您正在為Sonnet級別的工作支付Opus的價格。幾乎沒有人主動選擇模型,他們只是使用介面載入時預設選中的那個,而預設就是旗艦型號——最昂貴的模型。對於真正困難的問題,這是正確的選擇;但對於一行郵件,這純粹是浪費。您不能指望一個營銷人員知道他們的預設聊天視窗成本高出五倍,因為價格沒有顯示在螢幕上,而且供應商也沒有動力去顯示它。
因此,不要讓他們去學習這些。任務應該選擇模型,而不是打字的人,這個決定應該在請求層做出,而不是在任何人腦子裡。摘要或格式重寫交給Haiku,日常編碼和草稿交給Sonnet,真正困難的推理交給Opus。您甚至可以將單個任務拆分,用Opus進行規劃,用Sonnet執行,將昂貴的思考留給需要的步驟。無論使用者整天做什麼,他們輸入相同的提示,得到相同的答案,只是賬單變小了。而且這不僅僅是Claude Code:預設設定也出現在銷售、運營和市場人員開啟的每一個聊天視窗中。
能省多少?經過同行評審的研究,如Ding等人的Hybrid LLM,表明可以在不影響質量的情況下,將昂貴模型的呼叫減少高達40%。這只是模型組合的算術運算,適用於您合法執行的任何部署。這是一個隨著使用量增長而發揮作用的槓桿:您的團隊越依賴AI,錯誤模型預設設定的成本就越高,而路由帶來的節省也越多。
看不見的賬單。第一天,一位工程師加入公司,獲得一個企業級Claude賬戶,並在前五個提示中燒掉了145美元。在固定費率計劃下,這個使用量本可以維持一週;而在按量計費的企業計劃下,午餐前就用完了。人力資源部門已經在問一些他無法回答的問題,他正在計算每月5000美元的費用:“比我的工資還多。”使用量頁面本應顯示限額,卻只顯示一個詞:無限制。這是一個來自r/ClaudeCode的真實帖子,也是單個截圖中的第二個漏洞。
第一個漏洞是沒有人選擇的模型。第二個是這個:沒有人監控的計量器。截至今年,企業級服務對團隊在聊天、Claude Code和Cowork中使用的每個令牌收費,標準API費率加上座位費。按量計費對於輕量團隊來說很便宜,但在規模擴大時會失控,而且因為它以一份無差別的發票形式呈現,直到財務部門提出質疑,才有人注意到費用激增。您無法路由您看不到的東西,也無法在從未比較過的兩個部署之間做出選擇。所以比較它們:選擇您的入口,確定團隊規模,拖動使用量。
哪些專案實際盈利了?路由解決了每項任務的支付問題。更難的問題是您用這些錢買了什麼,而這從發票上看不出來。成本只是人們爭論的一半,而歸屬性是另一半,它悄無聲息地花費更多。
當有人本月在Opus上花費300美元時,問題不在於哪個模型,而在於哪個專案。如果您無法回答,每一分錢都會落入同一個無差別的運營支出桶中,並在花掉的瞬間被費用化。財務部門看到來自Anthropic的賬單和一個數字,無法將其與個人或工作聯絡起來,因此除了看著它增長之外無能為力。這就像第二份沒有成本中心的工資單。
沒有上下文的賬單只是賬單,一個增長的數字。有了上下文,它就變成了一張地圖。您可以看到構建新計費流程的團隊每月消耗4萬美元的模型時間,而一個未經批准的專案每月消耗6萬美元。您可以看到哪些功能在上線後永遠無法收回成本,哪些廉價功能悄無聲息地支撐著路線圖。這不是削減成本,而是瞭解您的槓桿所在,知道該支援哪些工作,該停止哪些工作。歸屬後的支出不再是財務部門害怕的數字,而成為衡量價值實際產生位置的最敏銳指標。
而且它改變了會計核算,而不僅僅是報告。用於構建新軟體的AI支出可以資本化並在其使用年限內攤銷,就像傳統軟體開發在IAS 38或ASC 350-40下的處理方式一樣。障礙從來不是會計準則,而是缺乏歸屬。您無法資本化您無法歸屬的東西,而供應商的發票不提供任何歸屬資訊。Flowstate將每次呼叫與個人、專案、模型和成本類別相關聯,因此構建實際價值的工作不再隱藏在運營支出中。
您的工作中符合資本化條件的比例越高,效果就越顯著。如果70%的開發工作確實是在構建新產品(對許多團隊來說確實如此),那麼歸屬就相當於將大部分AI支出從本季度的損益表轉移到資產負債表上,在軟體產生收入的多年內攤銷。對於七位數的AI賬單來說,這並非細枝末節,而是當前利潤衝擊與未來可收回資產之間的差別。(特定專案是否符合條件由您的財務和審計團隊判斷,而非一篇博文。)
我們的定位。Flowstate是一個智慧代理:可以將其視為Zscaler,但針對AI流量。我們不集中賬戶,也不持有您的合同;您保留自己的金鑰以及與所用供應商的直接合約。我們位於請求路徑中,在每次呼叫透過時執行三項操作:將其路由到任務實際需要的模型;檢查是否有不應離開的內容(原始碼、去向不當的客戶PII);並將其記錄到個人、專案和成本類別。這就是企業級服務收費高昂的可見性,無需支付溢價,也無需交出您的合同。
因為我們是一個代理而非賬戶池,您在供應商條款上的位置仍然是您的決定,在掌握全域性資訊而非盲目情況下做出。您可以看到每個部署的實際成本,降低路由費用,並根據願意承擔的風險程度為每個團隊調整使用量。上述兩個漏洞是同一臺機器在做兩項工作:將每個請求傳送到正確的模型,並使您選擇的部署清晰可管理。
需要坦白一些注意事項。Flowstate使部署可觀察和可控,但它不會重寫您的合同。如果您需要BAA、資料駐留或合同性的不訓練條款,那就需要企業級服務,在那裡我們的工作是路由和賬本:防止按量計費賬單失控。而這一切只適用於重度使用場景:對於輕量團隊,按量計費賬單永遠不會達到這些措施能收回成本的程度,正如計算器一旦您降低使用量所顯示的那樣。
多年來,這種權衡似乎是二元的:要麼讓人們使用任何可用的模型並承擔費用,要麼全面限制並手動審查每個提示。這不應是一個在承擔費用和用使用限制讓團隊停滯之間的二元選擇。路由任務,您就不再為Sonnet級別的工作支付Opus價格。歸屬支出,AI就不再是無差別的利潤打擊。您只需要一箇中間代理來提供控制。