為何CPU在AI代理時代依然重要
儘管AI基礎設施的討論常聚焦於GPU和TPU，但CPU在AI從聊天機器人轉向自主代理的過程中扮演著關鍵角色，作為“空中交通管制員”協調任務，並支援沙盒環境以確保安全。ARM和Google的專家解釋了CPU在處理工具呼叫、記憶體管理和輕量級模型執行中的優勢。
在AI基礎設施的討論中，GPU和TPU幾乎佔據了所有頭條，但CPU——這個鮮少被提及的晶片——在AI從聊天機器人向自主代理的轉變中正變得愈發重要。The New Stack與Arm公司的Bhumik Patel以及Google的Mo Farhat進行了對話，探討了CPU在新時代的關鍵作用。
Farhat將CPU比作“空中交通管制員”，負責協調代理完成任務。與早期僅返回響應的聊天機器人不同，自主代理能夠執行操作：呼叫工具、建立環境並執行程式碼。這些任務——包括編排、API通訊和記憶體管理——正是CPU擅長的併發分散式工作。此外，CPU也能執行小型模型（如摘要器、分類器），對於80億引數級別的模型，CPU已提供良好效能，且未來有望處理更大負載。
代理執行程式碼時需要安全隔離。Google推薦其開源專案gVisor，作為應用與作業系統之間的隔離層。透過GKE Agent Sandbox，Google可以實現每叢集每秒啟動300個沙盒，且首個指令延遲低於1秒。代理工作負載具有突發性，因此平臺利用Pod快照和預熱池來降低空閒成本。
效率是另一大優勢。Google Cloud Next上，Google宣稱其基於ARM的Axion處理器在GKE Agent Sandbox中比領先雲提供商提供“30%更好的價效比”。Axion N4A例項針對成本和效率最佳化，適合沙盒環境；而C4A例項則針對單執行緒效能調優，適用於有狀態編排和控制流邏輯。對於雲原生開發者而言，這些工具非常熟悉，並自然延伸至代理化方法。總體而言，CPU正在AI代理時代重新煥發活力，成為不可或缺的基礎設施元件。