AI總擁有成本（AI TCO）| Cohere

對於許多跨行業企業而言，人工智能的使用已從好奇實驗轉變為必要支出，其數字化轉型戰略與AI創新同步發展。然而，許多公司仍然沒有完全理解購買AI技術時的單位經濟學，這可能在AI工作流規模擴大併成為業務永久部分時轉化為財務風險。

在Cohere，我們認識到客户在AI總擁有成本（TCO）以及何時擁有AI技術、何時租賃方面的戰略決策挑戰——AI所有權並非一刀切。本文將介紹企業中運行AI的顯性和隱性成本，以及如何制定AI所有權策略。

AI成本如何計算

AI的可見價格通常以令牌報價。令牌是模型讀取和生成的文本片段。每個提示、響應、檢索文檔、代理步驟、工具調用、循環和重試都會產生令牌。然而，令牌定價只是成本的一部分——儘管在AI有效實施並擴展時，它是最顯眼且最不可預測的部分。

更大的問題不在於供應商每百萬令牌的收費，而在於擁有、運營、保護並擴展AI的成本，一旦AI成為業務不可或缺的部分。這是AI所有權給組織帶來的核心挑戰。

AI TCO隨使用量上升

如今，隨着企業AI成為主要業務支出，總擁有成本正在增加。Gartner預測全球AI支出將在2026年達到2.52萬億美元，年增長44%，主要由基礎設施驅動。隨着AI採用率提高，推理、更長的上下文窗口、更多代理步驟、檢索增加和速度需求，成本影響更大。屏幕上的一個答案可能代表一系列模型調用、文檔搜索、工具調用和驗證步驟——這些步驟並非隱藏在基礎設施或模型發票中。

AI所有權層次：租賃與擁有基礎設施

隨着AI成為標準業務成本，公司必須理解他們購買的內容：令牌、延遲、吞吐量、利用率、數據控制以及預測支出的能力。企業，特別是財務領導和AI轉型項目負責人，必須關注哪些變量驅動成本，哪些確保控制。能夠盈利擴展AI的公司不是那些花費最多的，而是那些弄清楚哪些AI能力應該擁有、哪些應該租賃，並建立區分它們的紀律的公司。那些全部租賃的公司最終會得出相同結論：當成本增長到不可持續或控制權悄然流失時。

AI的隱性成本

令牌經濟學是明顯的起點，因為它解釋了為什麼AI支出與傳統軟件不同。在傳統雲計算中，成本映射到熟悉的單位：服務器、存儲、帶寬和時間。AI引入了更不穩定的計算單位。

一個令牌很小，但建立在令牌之上的系統並不小。單個用户請求可能觸發長提示、大上下文窗口、多個推理步驟、幾個工具調用和精煉的最終答案。用户體驗一次交互，公司為整個鏈條付費。

這就是為什麼AI成本可能在沒有可見產品變化的情況下飆升。團隊可能擴展上下文窗口以獲得更好的答案，添加檢索以減少幻覺，引入代理循環處理複雜任務，或將請求路由到更大的模型——所有這些明智的決定，組合起來會顯著改變成本概況。

審視整個AI系統

常見錯誤是將令牌價格視為單位經濟學。事實並非如此。總擁有成本是產生令牌的系統。相關的問題更廣泛：一個任務消耗多少令牌？用户操作背後有多少模型調用？每個步驟由哪個模型處理，如何路由？傳遞了多少上下文？系統重試的頻率？業務需要什麼延遲？支付的基礎設施是否真的被利用？

這很大程度上由基礎設施驅動，但也源於公司必須站在數字創新前沿以保持競爭力的緊迫性。因此，公司傾向於消費最大、最前沿的商用模型。例如，Uber的一次財報電話會議提到“公司10%的提交代碼由自主代理構建”，這恰逢該公司在四個月內花掉了12個月的AI預算。

頭條新聞層出不窮，但問題依然存在：AI創造了更高生產率，但對於關心收入預測的領導者來説，創新不能以預測不準確為代價。

市場已顯現意外成本

最近的研究凸顯了AI基礎設施意外成本的規模。根據DataRobot委託的2025年12月IDC InfoBrief，96%部署生成式AI的組織和92%使用代理AI的組織面臨高於預期的成本。這些普遍超支表明當前規劃模型與實際工作負載不符。Gartner預測AI將進入“幻滅低谷”，擴展的主要障礙是回報的不可預測性，而非缺乏雄心。

2025年11月McKinsey對105個國家近2000家組織的調查發現，雖然AI採用廣泛，但只有約三分之一的企業級規模部署，僅5-6%報告顯著財務影響。教訓明確：不可預測的支出，沒有明確價值，懲罰了糟糕的成本管理。

預測和治理仍然具有挑戰性。Mavvrik和Benchmarkit的2025年調查顯示，80%的公司AI基礎設施預測偏差超過25%，近25%偏差超過50%。只有15%的支出在10%以內。此外，84%的公司報告AI基礎設施導致毛利率下降6%或更多。對於軟件公司，這些是經常性成本，而非自由支配的創新支出。關鍵結論是有限的可見性使AI成本難以管理，因為只有約三分之一的公司報告本地AI支出。

更多成本相關考慮

成本並非唯一擔憂。隨着政府加強AI治理和標準，依賴外部擁有模型帶來了訪問、條款和可用性風險。實際問題是不受公司控制的模型實際上是一種租賃能力。

目前，AI成本增長速度快於傳統技術支出，常常出現較晚，且不遵循可預測模式。代理編排或提示的微小變化可能顯著增加令牌消耗。無法歸屬或管理的成本無法完全控制。

AI的資本和運營成本

投資AI系統需要考慮兩種不同成本：資本和運營。資本支出涵蓋公司擁有的資產，如芯片、服務器、存儲和網絡設備。這些投資通常是物理的，有大量前期成本和隨時間折舊。運營支出包括租賃或計量的資源，如雲實例、令牌、電力、冷卻和場地空間。雖然這些運營支出更容易啓動，但在規模下變得顯著。

跨越兩類的主要成本驅動因素是：吞吐量（每秒令牌數）、單價（每百萬令牌成本）、響應性（到第一個令牌的時間），以及最重要的利用率。利用率是決定擁有還是租賃更具成本效益的主要因素。

通過高效部署降低AI成本

硬件決定最大容量，但模型效率決定實際性能，因此是預測成本的關鍵變量。Cohere模型在參數和量化方面各有不同，但通過混合專家（MoE）方法將令牌路由到模型參數的子集，可以降低生成成本而無需顯著能力損失。此外，低位量化模型可以提高吞吐量並降低延遲，最大化硬件輸出。

因此，模型路由，或者為特定任務選擇合適大小的模型，對於降低模型推理成本至關重要。這些技術對於在自有硬件上實現成本效益性能至關重要。

這就是為什麼僅硬件價格本身也是成本的不良指南。NVIDIA（其芯片處理了全球大部分推理工作）認為，重要的指標不是計算成本或理論每美元操作數（衡量你支付的），也不是每令牌成本（衡量你實際產生的）。據其自身統計，一個更便宜的GPU如果每秒產生更少的令牌，最終每令牌成本更高，而不是更低。代際收益很大：NVIDIA報告其Blackwell級系統每兆瓦產生的令牌比上一代Hopper系列大約多50倍，每令牌成本降低約35倍。

為了具體説明權衡，想象一個持續運行的客户支持助手：每天50萬次請求，每次幾千個令牌，包括每個答案背後的檢索和重試。通過前沿API租賃，使用量和成本永遠不會停止。在自有硬件上運行相同的工作負載，成本結構反轉。硬件成為固定折舊費用，之後的每個額外請求幾乎免費。低於一定數量，API勝出，因為空閒硬件是純粹浪費；高於該數量，所有權領先，差距隨着每個令牌擴大。

在數據中心規模上，差距以具體數字體現。2026年Lenovo分析在其自己的8-GPU服務器上運行70-405B參數模型（比上述單個示例更大的規模），將自有H100硬件上生成百萬令牌的攤銷成本定為約0.11美元，而等效雲實例約為0.89美元，類似前沿API約2.00美元。

自有推理通過兩種不同方法落在約0.11-0.12美元（Lenovo五年擁有TCO；NVIDIA/SemiAnalysis InferenceX基準測試在更新GB300芯片上，不完全可比）。租賃數據來自Lenovo。自有數字假設持續高利用率。

這比租賃雲基礎設施有八倍優勢，比通過API購買令牌高達十八倍，持續使用下五年節省每台服務器數百萬美元。同一分析發現，8-GPU服務器在四個月內收回成本——但僅針對按需雲定價，最昂貴的租賃方式。

兩個獨立估計（通過不同方法）將自有推理落在同一範圍。Lenovo的約0.11美元來自H100的五年擁有模型；NVIDIA報告其旗艦GB300平台每百萬令牌0.123美元，由第三方SemiAnalysis InferenceX基準測量。這些數字並非嚴格可比——一個是會計攤銷，另一個是更新芯片上的推理基準——但兩個來源均落在約0.11-0.12美元的自有推理成本，而云實例約0.89美元，前沿API約2.00美元，比單獨任何一個數字提供了更堅實的基礎。

這些數字有兩個條件。它們是供應商成本，基於該供應商硬件計算，並且雲方面故意省略了存儲、出口和支持成本。