AI News HubLIVE
站内改写4 分鐘閱讀

將300萬美元的AI賬單降至190萬美元

Flowstate是一個智能代理,通過將AI請求路由到最合適的模型,並跟蹤每個項目的支出,幫助企業節省高達42%的AI成本。文章揭示了AI賬單膨脹的兩個主要原因:默認使用昂貴的旗艦模型以及缺乏成本歸屬。

來源Hacker News AI作者: speckx

如今,您的團隊中可能有人在用最昂貴的AI模型編輯幻燈片。這不是他們主動選擇的,而是默認設置。這種看不見的選擇每天重複數千次,AI賬單很快就會變得像工資單一樣龐大。

導致賬單膨脹的因素有兩個:默認模型不適合當前任務——本可以用更便宜的模型完成的工作卻支付了旗艦級價格;同時,這些任務在發票上是不可見的,只有一個總金額,無法區分用於哪個項目或模型。

Flowstate位於請求路徑中,旨在堵住這兩個漏洞。我們將每個提示路由到任務實際需要的模型,並將每一分錢與它所支付的工作掛鈎。沒有人會減少產出:原本花費300萬美元的相同輸出,現在只需190萬美元,而且您第一次能夠看到這筆錢實際買到了什麼工作。

您正在為Sonnet級別的工作支付Opus的價格。幾乎沒有人主動選擇模型,他們只是使用界面加載時默認選中的那個,而默認就是旗艦型號——最昂貴的模型。對於真正困難的問題,這是正確的選擇;但對於一行郵件,這純粹是浪費。您不能指望一個營銷人員知道他們的默認聊天窗口成本高出五倍,因為價格沒有顯示在屏幕上,而且供應商也沒有動力去顯示它。

因此,不要讓他們去學習這些。任務應該選擇模型,而不是打字的人,這個決定應該在請求層做出,而不是在任何人腦子裏。摘要或格式重寫交給Haiku,日常編碼和草稿交給Sonnet,真正困難的推理交給Opus。您甚至可以將單個任務拆分,用Opus進行規劃,用Sonnet執行,將昂貴的思考留給需要的步驟。無論用户整天做什麼,他們輸入相同的提示,得到相同的答案,只是賬單變小了。而且這不僅僅是Claude Code:默認設置也出現在銷售、運營和市場人員打開的每一個聊天窗口中。

能省多少?經過同行評審的研究,如Ding等人的Hybrid LLM,表明可以在不影響質量的情況下,將昂貴模型的調用減少高達40%。這只是模型組合的算術運算,適用於您合法運行的任何部署。這是一個隨着使用量增長而發揮作用的槓桿:您的團隊越依賴AI,錯誤模型默認設置的成本就越高,而路由帶來的節省也越多。

看不見的賬單。第一天,一位工程師加入公司,獲得一個企業級Claude賬户,並在前五個提示中燒掉了145美元。在固定費率計劃下,這個使用量本可以維持一週;而在按量計費的企業計劃下,午餐前就用完了。人力資源部門已經在問一些他無法回答的問題,他正在計算每月5000美元的費用:“比我的工資還多。”使用量頁面本應顯示限額,卻只顯示一個詞:無限制。這是一個來自r/ClaudeCode的真實帖子,也是單個截圖中的第二個漏洞。

第一個漏洞是沒有人選擇的模型。第二個是這個:沒有人監控的計量器。截至今年,企業級服務對團隊在聊天、Claude Code和Cowork中使用的每個令牌收費,標準API費率加上座位費。按量計費對於輕量團隊來説很便宜,但在規模擴大時會失控,而且因為它以一份無差別的發票形式呈現,直到財務部門提出質疑,才有人注意到費用激增。您無法路由您看不到的東西,也無法在從未比較過的兩個部署之間做出選擇。所以比較它們:選擇您的入口,確定團隊規模,拖動使用量。

哪些項目實際盈利了?路由解決了每項任務的支付問題。更難的問題是您用這些錢買了什麼,而這從發票上看不出來。成本只是人們爭論的一半,而歸屬性是另一半,它悄無聲息地花費更多。

當有人本月在Opus上花費300美元時,問題不在於哪個模型,而在於哪個項目。如果您無法回答,每一分錢都會落入同一個無差別的運營支出桶中,並在花掉的瞬間被費用化。財務部門看到來自Anthropic的賬單和一個數字,無法將其與個人或工作聯繫起來,因此除了看着它增長之外無能為力。這就像第二份沒有成本中心的工資單。

沒有上下文的賬單只是賬單,一個增長的數字。有了上下文,它就變成了一張地圖。您可以看到構建新計費流程的團隊每月消耗4萬美元的模型時間,而一個未經批准的項目每月消耗6萬美元。您可以看到哪些功能在上線後永遠無法收回成本,哪些廉價功能悄無聲息地支撐着路線圖。這不是削減成本,而是瞭解您的槓桿所在,知道該支持哪些工作,該停止哪些工作。歸屬後的支出不再是財務部門害怕的數字,而成為衡量價值實際產生位置的最敏鋭指標。

而且它改變了會計核算,而不僅僅是報告。用於構建新軟件的AI支出可以資本化並在其使用年限內攤銷,就像傳統軟件開發在IAS 38或ASC 350-40下的處理方式一樣。障礙從來不是會計準則,而是缺乏歸屬。您無法資本化您無法歸屬的東西,而供應商的發票不提供任何歸屬信息。Flowstate將每次調用與個人、項目、模型和成本類別相關聯,因此構建實際價值的工作不再隱藏在運營支出中。

您的工作中符合資本化條件的比例越高,效果就越顯著。如果70%的開發工作確實是在構建新產品(對許多團隊來説確實如此),那麼歸屬就相當於將大部分AI支出從本季度的損益表轉移到資產負債表上,在軟件產生收入的多年內攤銷。對於七位數的AI賬單來説,這並非細枝末節,而是當前利潤衝擊與未來可收回資產之間的差別。(特定項目是否符合條件由您的財務和審計團隊判斷,而非一篇博文。)

我們的定位。Flowstate是一個智能代理:可以將其視為Zscaler,但針對AI流量。我們不集中賬户,也不持有您的合同;您保留自己的密鑰以及與所用供應商的直接合約。我們位於請求路徑中,在每次調用通過時執行三項操作:將其路由到任務實際需要的模型;檢查是否有不應離開的內容(源代碼、去向不當的客户PII);並將其記錄到個人、項目和成本類別。這就是企業級服務收費高昂的可見性,無需支付溢價,也無需交出您的合同。

因為我們是一個代理而非賬户池,您在供應商條款上的位置仍然是您的決定,在掌握全局信息而非盲目情況下做出。您可以看到每個部署的實際成本,降低路由費用,並根據願意承擔的風險程度為每個團隊調整使用量。上述兩個漏洞是同一台機器在做兩項工作:將每個請求發送到正確的模型,並使您選擇的部署清晰可管理。

需要坦白一些注意事項。Flowstate使部署可觀察和可控,但它不會重寫您的合同。如果您需要BAA、數據駐留或合同性的不訓練條款,那就需要企業級服務,在那裏我們的工作是路由和賬本:防止按量計費賬單失控。而這一切只適用於重度使用場景:對於輕量團隊,按量計費賬單永遠不會達到這些措施能收回成本的程度,正如計算器一旦您降低使用量所顯示的那樣。

多年來,這種權衡似乎是二元的:要麼讓人們使用任何可用的模型並承擔費用,要麼全面限制並手動審查每個提示。這不應是一個在承擔費用和用使用限制讓團隊停滯之間的二元選擇。路由任務,您就不再為Sonnet級別的工作支付Opus價格。歸屬支出,AI就不再是無差別的利潤打擊。您只需要一箇中間代理來提供控制。