AIイノベーターがNVIDIA Veraを採用——大規模な最大シングルスレッドCPUが重要な理由
NVIDIA Veraは、エージェントAI時代のために設計された新しいタイプのCPUで、大規模な最大シングルスレッド性能を重視しています。自社開発のOlympusコアを搭載し、従来のGraceと比較してIPCが50%向上し、最大1.2TB/sのメモリ帯域幅を備えています。エージェントワークロードでは、x86と比較して1.8倍の持続的なコアあたり性能を実現し、実際のテストでは1.5～1.9倍の速度向上を示しました。Veraはツール呼び出しからデータ処理までを統合し、AIファクトリーのGPU活用を最大化します。
AIイノベーターは、エージェントAI時代のために設計された新たなCPU、NVIDIA Veraを採用しています。その中核は、大規模な最大シングルスレッド性能です。エージェントシステムの作成と展開において、CPUは推論、応答時間、学習のクリティカルパスにあります。CPUは、AIモデルが指示するツール呼び出し、コード実行、データ処理、KVキャッシュ、結果分析などの作業を実行するプロセッサです。
AIファクトリーでは速度が重要です。CPUがツールを実行する速度が速いほど、エージェントは目の前のタスクを迅速に実行できます。AIファクトリーにとって、GPUの利用効率はデータセンターで最も価値のあるリソースです。CPUがタスクを完了するのを待つ時間はAIファクトリーの収益を制約し、さらに悪いことにGPUの利用効率に悪影響を及ぼします。AIファクトリーは、収益とエージェントの性能を最大化するために、最大シングルスレッド性能を備えたCPUを必要としています。
今日のデータセンターCPUは、大規模な速度を考慮して設計されていません。PCやワークステーション向けには高速CPUが存在しますが、データセンターCPUはシングルスレッド性能から離れる方向に進化してきました。クラウドの登場により、CPUメーカーは性能を犠牲にしてコストを最小限に抑えながら、より高いコア数のCPUを構築するようになりました。レンタル可能なコアあたりのコストを最適化するCPUは、チップあたりのコア数を増やす一方で、シリコン面積をコアを高速に動作させる部分（高性能メモリ構造やコアあたりの高速命令処理など）から奪いました。チップレットアーキテクチャへの移行はさらにコストを削減しましたが、各CPUコアがチップの全メモリ性能にアクセスできなくなる「チップレット税」を生み出しました。
AIエージェントは、大規模な最大シングルスレッド性能向けに設計されたCPUを必要としています。大規模な最大シングルスレッドCPUは、システムが完全に負荷された状態でも各エージェントのステップを高速に保ちます。すべてのコアが他のコアに影響されることなくフル性能でエージェントタスクを完了します。このようなCPUは、負荷下での強力なコアあたり性能、アクティブなコアにデータを供給するための十分なコアあたりメモリ帯域幅、予測可能なレイテンシを提供するように設計されています。各コアは他のコアに遅らされることなくタスクを完了し、優れたスループットと、可能な限り高速なシングルコアタスク性能を実現します。
NVIDIA Veraは、この新しいクラスのCPU設計を体現しています。
大規模な最大シングルスレッドCPUがエージェントループを実行する仕組み
AIエージェントは単一のリクエストで停止しません。ループで動作します。モデルが次のステップを推論し、CPUがモデルの周りの作業を実行し、結果が戻り、モデルが次に何をするかを決定し、ループが再び実行されます。このパターンは、従来のCPUが最適化されていない需要プロファイルを生み出します。従来のCPU作業は断続的でユーザー主導であり、人間によってトリガーされる短いインタラクションで構成されています。エージェント作業は持続的で並列的です。エージェントの群れが継続的に実行され、各エージェントは前の結果に依存する一連のステップを進みます。
CPU内のコア数が多いほど、CPUあたりのエージェントタスク数が増えるため、データセンターCPUはタスクのスループットを最大化するために多数のコアを必要とします。しかし、コア数を増やしても単一のエージェントループ内の各ステップの時間を短縮することはできません。コアが増えても個々のタスクが速くなるわけではありません。実際、コア数を最大化するように設計されたCPUは、リソースを競合するため、各コアの性能を低下させる可能性があります。
個々のコアあたりの性能は、各ステップの完了速度を推進するために重要です。追加のコアのスループットは有用ですが、十分ではありません。各アクションは前の結果に依存するため、コアあたりの速度がループの進行速度を決定します。
シングルスレッドコア性能とスループット：最終的に、最良のエージェントCPUは、コアあたりの最良のシングルスレッド性能を必要とし、すべてのコアが妥協なくその性能を提供する必要があります。世界は秒単位でカウントします。エージェントはナノ秒単位でカウントします。NVIDIA Veraは、この新しいカテゴリの作業、そして速度のために構築されています。
NVIDIA Vera——エージェント向けの大規模最大シングルスレッドCPU
NVIDIA Veraは、大規模最大シングルスレッドCPUであり、モデル呼び出しの間のエージェントの作業（ツール使用、データ処理、コード実行、結果確認）のためにゼロから設計されています。
Veraの中核はOlympus、NVIDIAのカスタムCPUコアで、NVIDIA Graceよりも命令サイクルあたりの性能が50%向上しています。これは、多くのエージェントステップが逐次的であるため重要です。ツール呼び出し、コード実行、テスト実行、データ処理ステップは、次のモデル呼び出しが結果を使用する前に完了する必要があります。より高速なコアは、各ループをより速く前進させます。
Veraは、これらの高速コアと最大1.2TB/sのLPDDR5Xメモリ帯域幅（40ワット未満のメモリ電力）を組み合わせ、さらにモノリシックなコンピュートダイにより、アクティブなコアがデータを供給され続け、3.4TB/sのコア間帯域幅（他のデータセンターCPUの3倍）でデータ移動を予測可能にします。これにより、88すべてのコアがボトルネックを生じることなくCPUの全メモリ性能を活用できます。
結果として、エージェントループが高速化されます。エージェント実行を表す負荷のかかったCPUワークロードでは、Veraはx86の1.8倍の持続的なコアあたり性能を提供します。これらの利得は、ツール呼び出し、コード実行、データ処理ステップ、検証パスにわたって累積され、AIファクトリーが既存のGPUでより多くのエージェント作業を完了するのに役立ちます。
Perplexityは、日々実行するエージェント作業でVeraをテストしました。実際のコーディングワークフロー（リポジトリのクローンとサンドボックスでのテストスイートの実行）では、Veraはx86より約1.5倍高速で、同時サンドボックスの起動は最大1.9倍高速でした。Perplexityは現在、次期本番システムにVeraを導入することを検討しています。
エージェントはデータにも依存します。常にデータのクエリ、取得、フィルタリング、移動を行っており、VeraはこれらのCPU側データワークロードをより高速に実行します。パートナーは、Starburstを使用した大規模SQL分析でx86サーバーCPU比3倍の速度向上、Redpandaを使用したリアルタイムストリーミングで最大6倍のレイテンシ削減を測定しています。
エージェントの作業は単一のワークロードではありません。エージェントはツールやサンドボックスを実行し、データを処理し、リクエストに応え、強化学習で次のモデルを訓練します。これらすべてが同じ強みに依存しています。1つのVeraが全範囲を処理できるため、作業の種類ごとに異なるCPUを必要としません。また、VeraはNVIDIA Vera RubinでGPUをホストし、NVIDIA BlueField-4 STXストレージプロセッサを駆動する同じCPUであるため、AIファクトリー全体が1つのアーキテクチャと1つのツールチェーンで動作します。
NVIDIAはこれで終わりではありません。次世代のRosa CPUは、Rigelコアを搭載し、エージェントAI時代に向けたNVIDIAのCPUロードマップを継続します。RigelはNVIDIAの次世代Arm v9.2 CPUコアで、同じシリコン面積を維持しながらOlympusよりも高いコアあたり性能を提供します。主な改善点には、より優れた命令供給、より大きなL2キャッシュ、より効率的なメモリ処理が含まれます。
エージェントの速度のために構築
エージェントAI時代には、数十億のエージェントが存在し、そのすべてがCPUを使って行動、確認、取得、実行、検証を行います。この新しい市場では、完了したエージェント作業が製品です。より高速なエージェントループは、すべてのGPUが収益を生み出す作業により多くの時間を費やし、待機時間を減らすのに役立ちます。
NVIDIA Veraは、その未来のために構築されたCPUです。
NVIDIA Vera CPUの詳細については、こちらをご覧ください。