AI代理的能力遠不止生成答案。它們會搜索信息、查詢數據庫、編寫和測試代碼並採取行動。這些步驟中的每一步都依賴於CPU,代理在整個任務過程中在GPU推理和CPU執行之間來回切換。隨着企業部署越來越多的代理,AI工廠需要能夠快速執行這些步驟並同時支持多個代理的CPU,同時還要在可用功耗的限制內。
對AI基礎設施提供商而言,這意味着需要支持更多代理,同時不讓每個代理等待更長時間。更重要的是,AI工廠受功耗限制,因此運營商需要選擇能夠最大化每瓦工作量的基礎設施。
NVIDIA Vera在單個CPU中同時提供了快速的代理性能和高能效容量。這為提供商提供了一個CPU來應對各種代理工作負載,而不必混合搭配快速和密集的x86部件來平衡速度與容量。
在100兆瓦數據中心的對比中,NVIDIA發現單個Vera CPU的性能優於最快的x86 CPU和最節能的x86 CPU。Vera在提供行業領先的代理速度的同時,與最快的x86 CPU相比,每瓦支持的代理數量多出1.6倍。與最節能的x86 CPU相比,Vera的代理速度提升2倍,同時保持領先的能效。
合作伙伴已經在實際生產環境中部署Vera,並見證了同樣卓越的性能。Perplexity在Vera上運行代理編碼任務,速度比傳統CPU快1.5倍,並計劃在即將推出的生產系統中部署Vera。DeepInfra在其生產代理工作負載中,使用Vera實現了高達2.2倍於最佳x86處理器的代理編排速度,在測試的四種架構中表現最快。ClickHouse的標準二進制文件無需針對Vera進行特定調優,便在176個核心上近乎線性擴展,並登頂ClickBench硬件排行榜。DuckLabs在TPC-H SF1000基準測試中,中位數性能約為Intel Xeon 6基線的1.5倍。Daytona使用Vera在10.8秒內啓動了1000個代理沙箱,在2000個併發沙箱下達到每秒12.7個完成作業,而x86需要88.4秒。Modal使用Vera實現了每核心高達2倍的沙箱吞吐量,相比同類x86硬件,且在高負載下增益更大。
這些結果凸顯了Vera在多種代理工作負載中的優勢,為AI工廠提供了高效、可擴展的解決方案。