為何CPU在AI代理時代依然重要
儘管AI基礎設施的討論常聚焦於GPU和TPU，但CPU在AI從聊天機器人轉向自主代理的過程中扮演着關鍵角色，作為“空中交通管制員”協調任務，並支持沙盒環境以確保安全。ARM和Google的專家解釋了CPU在處理工具調用、內存管理和輕量級模型運行中的優勢。
在AI基礎設施的討論中，GPU和TPU幾乎佔據了所有頭條，但CPU——這個鮮少被提及的芯片——在AI從聊天機器人向自主代理的轉變中正變得愈發重要。The New Stack與Arm公司的Bhumik Patel以及Google的Mo Farhat進行了對話，探討了CPU在新時代的關鍵作用。
Farhat將CPU比作“空中交通管制員”，負責協調代理完成任務。與早期僅返回響應的聊天機器人不同，自主代理能夠執行操作：調用工具、創建環境並運行代碼。這些任務——包括編排、API通信和內存管理——正是CPU擅長的併發分佈式工作。此外，CPU也能運行小型模型（如摘要器、分類器），對於80億參數級別的模型，CPU已提供良好性能，且未來有望處理更大負載。
代理運行代碼時需要安全隔離。Google推薦其開源項目gVisor，作為應用與操作系統之間的隔離層。通過GKE Agent Sandbox，Google可以實現每集羣每秒啓動300個沙盒，且首個指令延遲低於1秒。代理工作負載具有突發性，因此平台利用Pod快照和預熱池來降低空閒成本。
效率是另一大優勢。Google Cloud Next上，Google宣稱其基於ARM的Axion處理器在GKE Agent Sandbox中比領先雲提供商提供“30%更好的性價比”。Axion N4A實例針對成本和效率優化，適合沙盒環境；而C4A實例則針對單線程性能調優，適用於有狀態編排和控制流邏輯。對於雲原生開發者而言，這些工具非常熟悉，並自然延伸至代理化方法。總體而言，CPU正在AI代理時代重新煥發活力，成為不可或缺的基礎設施組件。