AI创新者采用NVIDIA Vera——为何大规模最大单线程CPU至关重要
NVIDIA Vera是一种专为AI代理时代设计的新型CPU，强调大规模下的最大单线程性能。它基于自研Olympus核心，相比前代Grace性能提升50%，并配备高带宽内存与低功耗设计。在代理工作负载中，Vera相比x86 CPU提供1.8倍的持续单核性能，并在真实测试中展现出1.5至1.9倍的速度提升。Vera整合了从工具调用到数据处理的全部工作，使AI工厂能最大化GPU利用率。
AI创新者正在采用NVIDIA Vera，这是一款专为代理AI时代设计的新型CPU，其核心特性是大规模最大单线程性能。在代理系统的创建和部署过程中，CPU处于推理、响应时间和学习的关键路径上。CPU执行AI模型指令的工作：工具调用、代码执行、数据处理、KV缓存和结果分析。
在AI工厂中，速度至关重要。CPU运行工具的速度越快，代理完成任务的速度就越快。对于AI工厂而言，GPU利用率是数据中心最有价值的资源，等待CPU完成任务的时间会限制AI工厂的收入，甚至更糟——影响GPU利用率。AI工厂需要一款具备最大单线程性能的CPU，以最大化收入和代理性能。
当今的数据中心CPU并非为大规模速度而设计。虽然PC和工作站有快速的CPU，但数据中心CPU的发展方向却偏离了单线程性能。云计算的兴起促使CPU制造商构建更高核心数的CPU，同时以牺牲性能为代价降低成本。优化每可租用核心成本的CPU增加了每芯片的核心数，却从使核心快速运行的部分（如高性能内存结构和每核心更快的指令处理）中占用了硅片面积。转向小芯片架构进一步降低了成本，但产生了“小芯片税”，即每个CPU核心无法再获得芯片的全部内存性能。
AI代理需要一款专为大规模最大单线程性能设计的CPU。大规模最大单线程CPU确保在系统满载时每个代理步骤都能快速执行。每个核心在满性能下完成代理任务，不受其他核心影响。这类CPU的设计不同，以提供：负载下每核心的强大性能、每核心足够的内存带宽以保持活跃核心的数据供应、可预测的延迟。每个核心都能完成任务，而不被其他核心拖慢，从而实现出色的吞吐量和最快的单核任务性能。
NVIDIA Vera代表了这种新型CPU设计。
最大单线程CPU如何构建以运行代理循环
AI代理不会在单个请求后停止运行。它以循环方式运作：模型推理下一步，CPU执行模型周围的工作，结果返回，模型决定下一步，然后循环再次运行。这种模式产生了传统CPU未优化的需求。传统CPU工作是由用户触发的间歇性短交互，而代理工作是持续且并行的：代理群连续运行，每个代理通过一系列步骤前进，每一步都依赖于前一步的结果。
CPU中更多的核心意味着每个CPU能处理更多的代理任务，数据中心CPU需要大量核心以最大化任务吞吐量。然而，增加核心数量并不能缩短单个代理循环中每一步的时间。更多核心无法使任何单个任务运行得更快。事实上，旨在最大化核心数的CPU甚至会因资源争用而拖慢每个核心的性能。
单个核心的性能对于推动每一步完成的速度至关重要。附加核心的吞吐量有用但不够。由于每个动作依赖于之前的结果，单核速度决定了循环推进的速度。
单线程核心性能与吞吐量：最终，最佳的代理CPU需要每个核心的最佳单线程性能，且每个核心必须无妥协地提供该性能。世界以秒计算，代理以纳秒计算。NVIDIA Vera正是为此新型工作——以及速度——而构建。
NVIDIA Vera——面向代理的最大单线程CPU
NVIDIA Vera是一款大规模最大单线程CPU，从头为代理循环设计：即模型调用之间代理使用工具、处理数据、运行代码和检查结果的工作。
Vera的核心是Olympus，NVIDIA自定义CPU核心，每周期指令数比NVIDIA Grace高50%。这很重要，因为许多代理步骤是顺序的。工具调用、代码执行、测试运行或数据处理步骤必须在下一个模型调用之前完成。更快的核心能更快地推进每个循环。
Vera将更快的核心与高达1.2TB/s的LPDDR5X内存带宽（功耗低于40瓦）以及单片计算芯片相结合，帮助活跃核心保持数据供应，并以3.4TB/s的核心间带宽（是其他数据中心CPU的3倍）保持数据移动可预测。这使得所有88个核心都能获得CPU的全部内存性能，而不会造成瓶颈。
结果是更快的代理循环。在代表代理执行的CPU负载工作负载中，Vera提供比x86高1.8倍的持续每核心性能。这些增益在工具调用、代码执行、数据处理步骤和验证过程中累积，帮助AI工厂用现有GPU完成更多代理工作。
Perplexity在Vera上测试了其日常运行的代理工作。运行一个真实的代码工作流——克隆仓库并在沙盒中运行测试套件——Vera比x86快约1.5倍，并同时启动沙盒的速度提升高达1.9倍。Perplexity现已计划在其即将推出的生产系统中部署Vera。
代理还依赖数据。它们不断查询、检索、过滤和移动信息，Vera能更快地运行这些CPU端数据工作负载。合作伙伴已测量到，与领先的x86服务器CPU相比，使用Starburst进行大规模SQL分析时速度提升3倍，使用Redpanda进行实时流处理时延迟降低高达6倍。
代理工作不是单一工作负载。代理运行工具和沙盒、处理数据、服务请求并通过强化学习训练下一个模型——所有这些都依赖于相同的优势。一个Vera就能处理整个范围，而不需要为每种工作使用不同的CPU。由于Vera同时也是NVIDIA Vera Rubin中托管GPU的CPU，并驱动NVIDIA BlueField-4 STX存储处理器，整个AI工厂运行在一个架构和一个工具链上。
NVIDIA并未止步。下一代Rosa CPU搭配Rigel核心将继续NVIDIA面向代理AI时代的CPU路线图。Rigel是NVIDIA下一代Arm v9.2 CPU核心，在保持相同硅片面积的同时提供比Olympus更高的每核心性能。关键改进包括更好的指令传递、更大的L2缓存和更高效的内存处理。
为代理速度而建
在代理AI时代，将有数十亿个代理，每个代理都需要CPU来行动、检查、检索、执行和验证。在这个新市场中，完成的代理工作就是产品。更快的代理循环帮助每个GPU花费更多时间产生收入，减少等待时间。
NVIDIA Vera是为那个未来而建的CPU。
了解更多关于NVIDIA Vera CPU的信息。