CPU復興時代來臨

智慧體AI的崛起正在改寫算力需求版圖。今年早些時候，亞馬遜網路服務（AWS）向其工程師發出了一項新指令：不惜一切代價節省CPU週期。據報道，由於AI工作負載給雲端計算基礎設施帶來巨大壓力，AWS的CPU伺服器容量等待時間已經大幅激增。

這一局面令AWS多少有些措手不及，因為此前的AI熱潮主要刺激的是GPU和記憶體的需求。CPU由於並行能力相對有限，一直被視作不適合大語言模型（LLM）推理的主流用途。但允許AI模型自主執行並呼叫子智慧體的智慧體AI系統，正在改變這一敘事。

Moor Insights & Strategy的資料中心分析師Matt Kimball表示，2026年CPU需求出現明顯飆升，其中很大一部分來自智慧體AI。“一個智慧體工作負載可能生成100個智慧體，如果要推廣到整個企業，這100個會變成數萬、數十萬甚至數百萬個智慧體。”他說，“這些智慧體會生成子智慧體，發起API呼叫，並透過Anthropic的模型上下文協議與其他智慧體通訊。”

智慧體AI的“工具使用”能力是CPU需求增長的關鍵。工具使用指的是LLM訪問網際網路、開啟桌面檔案以及呼叫各種軟體完成任務的能力。雖然LLM的推理過程主要在GPU或類似AI加速器上執行，但它發起的工具呼叫通常被交給CPU處理。Intel高階研究員Souvik Kundu解釋說：“智慧體AI任務中的許多環節本質上是CPU任務，比如解析輸出、決定呼叫哪個工具、發起API呼叫或執行程式碼、收集結果並反饋。”AMD計算與企業AI副總裁Madhu Rangarajan也表示，在測試中，真實智慧體AI流程的八個階段裡有七個完全在CPU上執行。

CPU和GPU之間的分工還帶來了效率問題。Kundu與佐治亞理工學院研究人員合作發表的論文發現，GPU執行LLM推理時CPU常常閒置，而CPU執行工具呼叫時GPU又經常等待。他們提出的排程最佳化方案在持續負載下可將端到端延遲降低最多1.8倍。然而，智慧體系統以機器速度產生任務並不斷倍增。OpenAI的一次意外事件中，其模型在一小時內發起了多達300次操作，單個智慧體還能生成發起工具呼叫的子智慧體。此外，安全護欄也會增加CPU負擔：對智慧體行為的語法和日誌檢查，以及用於分析任務複雜度的小模型，往往因為低延遲要求而留在CPU上執行。

佐治亞理工學院博士生Euijun Chung合著的另一篇論文進一步揭示了CPU核心不足的後果。當伺服器CPU核心過少時，分發工作到GPU的速度就跟不上，導致GPU空轉等待指令。論文還強調了分詞（tokenization）的瓶頸。分詞將文本轉換為模型可處理的整數ID，它不是大規模並行矩陣運算，而是依賴於資料的分支型字串處理。智慧體呼叫工具時，需要解析並分詞工具結果，而且每次呼叫都要重新分詞整個歷史序列。Chung指出，如果已有10萬token的上下文，再接入1000token的工具結果，分詞器就必須重頭處理整個序列。這既增加了分詞頻率，也放大了處理規模。論文表明，隨著序列長度增加，首token延遲可能顯著上升，而增加CPU核心數可將長序列下的首token延遲降低約1.5倍至7倍。

Chung團隊受限於硬體，只測試了阿里Qwen 3-30B和Meta Llama 3.1-70B等較小模型。他推測更大模型因GPU佔用更多而瓶頸相對不那麼明顯，但也預計智慧體AI會把token長度推到遠超當前測試範圍。“像Anthropic的Claude，很容易達到50萬甚至100萬token。”Chung說，“在智慧體AI的世界裡，平均序列長度只會不斷增長，所以這個問題在未來會更嚴重。”

市場訊號已十分明顯。Intel的伺服器CPU已售罄至今年年底，AMD將伺服器CPU預測翻倍，Arm和高通都發布了面向智慧體AI加速的新CPU，輝達也把Arm架構的Vera（屬於Vera Rubin平臺）列為智慧體AI優先產品。Kimball認為，這些動向表明AI行業正重新重視CPU效能，需求激增是CPU成為智慧體AI核心元件的“絕對訊號”。但這也可能演變為更廣泛的CPU短缺和價格上漲，正如GPU和記憶體此前經歷的那樣。Kimball警告：“你已經在某種程度上看到了CPU緊縮，這種市場約束甚至向下傳導到消費端。”他還指出，Intel在18A製程帶動客戶端銷售增長的同時，削減了客戶端CPU產量，轉而生產伺服器CPU，這顯示CPU廠商正追隨利潤而去。