跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

NVIDIA Vera CPU:为AI代理带来最高吞吐量与最快速度

文章摘要

NVIDIA推出Vera CPU,在100兆瓦数据中心对比中,其性能超越最快的x86 CPU和最节能的x86 CPU,为AI代理提供领先的代理速度和能效。

来源NVIDIA Blog作者: Hannah Coutand
NVIDIA Vera CPU:为AI代理带来最高吞吐量与最快速度
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

AI代理的能力远不止生成答案。它们会搜索信息、查询数据库、编写和测试代码并采取行动。这些步骤中的每一步都依赖于CPU,代理在整个任务过程中在GPU推理和CPU执行之间来回切换。随着企业部署越来越多的代理,AI工厂需要能够快速执行这些步骤并同时支持多个代理的CPU,同时还要在可用功耗的限制内。

对AI基础设施提供商而言,这意味着需要支持更多代理,同时不让每个代理等待更长时间。更重要的是,AI工厂受功耗限制,因此运营商需要选择能够最大化每瓦工作量的基础设施。

NVIDIA Vera在单个CPU中同时提供了快速的代理性能和高能效容量。这为提供商提供了一个CPU来应对各种代理工作负载,而不必混合搭配快速和密集的x86部件来平衡速度与容量。

在100兆瓦数据中心的对比中,NVIDIA发现单个Vera CPU的性能优于最快的x86 CPU和最节能的x86 CPU。Vera在提供行业领先的代理速度的同时,与最快的x86 CPU相比,每瓦支持的代理数量多出1.6倍。与最节能的x86 CPU相比,Vera的代理速度提升2倍,同时保持领先的能效。

合作伙伴已经在实际生产环境中部署Vera,并见证了同样卓越的性能。Perplexity在Vera上运行代理编码任务,速度比传统CPU快1.5倍,并计划在即将推出的生产系统中部署Vera。DeepInfra在其生产代理工作负载中,使用Vera实现了高达2.2倍于最佳x86处理器的代理编排速度,在测试的四种架构中表现最快。ClickHouse的标准二进制文件无需针对Vera进行特定调优,便在176个核心上近乎线性扩展,并登顶ClickBench硬件排行榜。DuckLabs在TPC-H SF1000基准测试中,中位数性能约为Intel Xeon 6基线的1.5倍。Daytona使用Vera在10.8秒内启动了1000个代理沙箱,在2000个并发沙箱下达到每秒12.7个完成作业,而x86需要88.4秒。Modal使用Vera实现了每核心高达2倍的沙箱吞吐量,相比同类x86硬件,且在高负载下增益更大。

这些结果凸显了Vera在多种代理工作负载中的优势,为AI工厂提供了高效、可扩展的解决方案。

展开要点与分析

文章情报

工程师进阶

要点

  • 在100兆瓦数据中心中,Vera比最快的x86 CPU每瓦多支持1.6倍的代理数量。
  • 与最节能的x86 CPU相比,Vera的代理速度提升2倍,且能效领先。
  • 早期采用者如Perplexity、DeepInfra、ClickHouse等已在实际工作负载中验证了Vera的卓越性能。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。