今日構建密集的代理型AI CPU機架
隨著代理型AI工作負載的興起,CPU在資料中心中的重要性日益凸顯。本文探討了為何代理型AI主要消耗CPU資源而非GPU,並透過OpenClaw等框架展示了其部署方式。文章還分析了代理型AI帶來的新需求,如從人工操作轉向機器操作,以及基礎設施需要為機器對機器流量最佳化。
隨著代理型人工智慧(Agentic AI)的快速發展,伺服器CPU正在從被忽視的角色轉變為關鍵基礎設施。本文旨在提供一個更廣闊的視角,幫助讀者理解這一趨勢及其對資料中心的影響。
當前,許多討論聚焦於代理作為新型工作負載的執行,但代理型AI的實際影響遠不止於此。2026年6月3日,Cloudflare執行長Matthew Prince指出,AI機器人流量已超過網際網路上的人類流量。這一趨勢真實存在,並將隨著代理平臺融入日常工作中而進一步加劇。伺服器CPU因此變得炙手可熱,提前佈局的公司將獲得顯著優勢。
為什麼代理型AI是CPU的故事?在資料中心,CPU無處不在:它們與GPU協同處理資料、為加速器附加記憶體池、執行儲存節點、控制平面、Kubernetes工作負載、網路交換機甚至部分網路介面卡。構建叢集時,CPU是共同的組成部分。
代理型AI改變了CPU的使用方式。像OpenClaw、Hermes這樣的平臺並不在GPU上執行,它們依賴CPU,並且需要持續存活和響應。透過簡單的安裝命令即可部署OpenClaw,然後在公司環境中,應將其視為承包商而非YOLO(全開許可權)模式:授予受限的資料和服務訪問許可權。
LLM推理通常透過API呼叫GPU,而CPU端基礎設施處理其餘一切。如果需要確定性和可重複的結果,應讓LLM生成指令碼在CPU上執行任務,而不是依賴原始LLM輸出直接執行命令。例如,為SSH登入設定一個帶密碼認證的sudo使用者,然後交給LLM處理100次呼叫。即使使用強大模型,仍會有顯著比例的呼叫因格式錯誤而失敗。透過構建特定工具修復訪問路徑,將LLM格式化呼叫與確定性部分分離,可大幅減少錯誤和令牌消耗。
CPU的另一個關鍵應用是建立短暫沙盒:建立、執行命令、然後銷燬。這些沙盒執行在CPU上,而代理本身也執行在CPU或雲VPS例項上。決定代理效能的關鍵因素與LLM本身無關。
代理型AI的重要性在於,機器作為操作者的新工作負載正在取代人類。為了最終走向確定性路徑,需要將更多工作推給CPU。Cloudflare的機器人流量資料表明,執行這些機器人消耗了大量CPU能力。此外,代理請求往往需要訪問前端應用和資料庫,這些服務都執行在CPU上。隨著機器對機器流量的增加,應用程式必須最佳化以處理比人類更大的請求量。
作者以自身經歷為例:PwC工作期間,他曾幫助一家儲存供應商自動化定價和折扣流程,使其銷售速度遠超競爭對手。代理型AI帶來的超時視窗要求基礎設施快速響應,這正推動著伺服器CPU的演進。