AIエージェントは、回答を生成するだけではありません。情報を検索し、データベースに問い合わせ、コードを書いてテストし、アクションを実行します。これらの各ステップはCPUに依存しており、エージェントはタスク全体を通じてGPU推論とCPU実行の間を行き来します。企業がより多くのエージェントを導入するにつれて、AIファクトリーはこれらのステップを迅速に実行し、利用可能な電力の制限内で多数のエージェントを同時にサポートできるCPUを必要としています。
これは、AIインフラプロバイダーが各エージェントの待ち時間を増やすことなく、より多くのエージェントをサポートする必要があることを意味します。さらに重要なのは、AIファクトリーの電力が制限されていることです。つまり、オペレーターはワットあたりの作業量を最大化するインフラストラクチャを選択する必要があります。
NVIDIA Veraは、単一のCPU内で高速なエージェントパフォーマンスと高いワットあたりの容量の両方を提供します。これにより、プロバイダーは速度と容量のバランスを取るために高速なx86パーツと高密度なx86パーツを混在させる必要がなく、さまざまなエージェントワークロードに対応する1つのCPUを利用できます。
100メガワットのデータセンター比較で、NVIDIAは単一のVera CPUが最速のx86 CPUおよび最もエネルギー効率の高いx86 CPUよりも優れたパフォーマンスを発揮することを発見しました。Veraは業界をリードするエージェント速度を提供しながら、最速のx86 CPUと比較してワットあたり1.6倍多くのエージェントを可能にします。最もエネルギー効率の高いx86 CPUと比較すると、Veraは2倍高速なエージェント速度を実現し、同時に優れたエネルギー効率を維持します。
パートナーはすでにVeraを実環境で稼働させており、初期導入企業は本番環境に近いテストで同様の卓越したパフォーマンスを確認しています。PerplexityはVera上でエージェントコーディングタスクを従来のCPUより1.5倍高速に実行し、今後の本番システムにVeraを導入する予定です。DeepInfraは本番エージェントワークロードにおいて、最高のx86プロセッサの最大2.2倍のエージェントオーケストレーション速度をVeraで実現し、テストした4つのアーキテクチャの中で最速を記録しました。ClickHouseはVera固有のチューニングなしで標準バイナリが176コアにわたってほぼリニアにスケールし、ClickBenchハードウェアリーダーボードのトップに立ちました。DuckLabsはTPC-H SF1000ベンチマークでIntel Xeon 6ベースラインの約1.5倍の中央値パフォーマンスを達成しました。DaytonaはVeraを使用して1,000のエージェントサンドボックスを10.8秒で起動し、2,000の同時サンドボックスで毎秒12.7の完了ジョブを達成しました(x86では88.4秒)。Modalは同等のx86ハードウェアと比較してコアあたり最大2倍のサンドボックススループットを実現し、高負荷時にその利得はさらに大きくなります。
これらの結果は、Veraが多様なエージェントワークロードにおいて優位性を発揮し、AIファクトリーに効率的でスケーラブルなソリューションを提供することを示しています。