CPUカムバックの時代が到来

エージェント型AIの台頭が、コンピューティング需要の構図を大きく変えている。今年初め、Amazon Web Services（AWS）はエンジニアに対し、CPUサイクルを何としてでも節約するよう新たな指令を出した。AIワークロードがクラウド基盤に負荷をかけるなか、AWSではCPUサーバー容量の待ち時間が急増したと報じられている。

この状況はAWSにとって想定外だったとも言える。これまでのAIブームはGPUとメモリの需要を急増させてきたが、CPUは並列処理の能力が限られるため、大規模言語モデル（LLM）の推論には不向きとされてきた。しかし、AIモデルが自律的に動作し、サブエージェントを呼び出せるエージェント型AIの登場が状況を一変させつつある。

Moor Insights & Strategyのデータセンター担当アナリスト、マット・キンボール氏は、2026年にCPU需要が急増した主因はエージェント型AIだと指摘する。「1つのエージェント型ワークロードが100のエージェントを生むとしよう。それを企業全体に展開すれば、その数は数万、数十万、数百万に膨れ上がる」と同氏は言う。「エージェントがサブエージェントを生成し、APIを呼び出し、Anthropicのモデルコンテキストプロトコルを通じて他のエージェントと通信するのです」。

CPU需要を押し上げる大きな要因は「ツール使用」だ。LLMがインターネットにアクセスし、デスクトップ上のファイルを開き、さまざまなソフトウェアを操作してタスクを遂行する能力を指す。LLMの推論自体は主にGPUやAIアクセラレータで実行されるが、LLMが行うツール呼び出しは一般的にCPUに送られる。Intelのシニアスタッフリサーチサイエンティスト、ソーヴィク・クンドゥ氏は「エージェント型AIタスクの多くの構成要素は本質的にCPUベースの仕事です。CPUは出力の解析、呼び出すツールの決定、API呼び出しやコードの実行、結果の収集とフィードバックを担当します」と説明する。AMDのコンピュートおよびエンタープライズAI担当バイスプレジデント、マドゥ・ランガラジャン氏も「現実的なエージェント型AIパイプラインの8段階のうち7段階は、完全にCPU上で実行される」と述べている。

CPUとGPUの分担には非効率も存在する。クンドゥ氏らがジョージア工科大学の研究者と共同執筆した論文によると、GPUがLLM推論を実行している間はCPUがアイドル状態になり、逆にCPUがツール呼び出しを処理している間はGPUがアイドル状態になる。同チームが提案するスケジューリング最適化により、持続的な負荷下でエンドツーエンドのレイテンシを最大1.8倍改善できる可能性がある。ただし、エージェント型システムはマシンの速度で作業を生成し、それを増殖させていく。OpenAIのモデルがHugging Faceで誤って発生させた事象では、1時間に最大300回ものアクションが実行された。さらに、モデルが複雑化するにつれ、CPUの負荷を増やす要因がもう1つある。それは安全ガードレールだ。エージェントの行動に対する構文やログの検査、10億パラメータ未満の小規模モデルを使ったタスク複雑性の分析などは、GPUでも実行可能だが、低レイテンシを重視してCPU上で処理されることが多い。

ジョージア工科大学の博士課程学生、ユージュン・チョン氏らによる別の論文は、CPUコア不足がGPUのボトルネックにつながることを示している。サーバーのCPUコアが少なすぎると、GPUへの処理分配が追いつかず、GPUが指示待ちで停止してしまう。論文はさらに、LLMワークロードの重要な要素であるトークナイゼーションの問題も取り上げている。トークナイゼーションはLLM推論の最初の重要なステップで、テキストを整数のトークンIDに変換する。LLM推論の大部分を占める行列演算とは異なり、トークナイゼーションは分岐が多く、データに依存する逐次的な文字列処理だ。テキストを分割して並列化はできるものの、LLM推論全体と同じような大規模並列化は難しい。

小さなプロンプトのトークナイゼーションは比較的軽量で、エントリーレベルのCPUでも問題にならない。しかし、ツール呼び出しを行うエージェント型モデルは、呼び出し結果を解析してトークン化する必要がある。チョン氏は「10万トークンのシーケンスが進行中で、ツール結果が1000トークンある場合、トークナイザーはシーケンス全体を再度トークン化しなければなりません。しかも、このトークン化をエージェントのツール呼び出しのたびに行う必要があります」と説明する。これによりトークン化の頻度と処理量の両方が増大する。論文によれば、シーケンス長が長くなると、最初のトークンが生成されるまでの時間（タイム・トゥ・ファースト・トークン）が大幅に増加する可能性があり、CPUコア数を増やすことで、長いシーケンス長ではレイテンシを約1.5倍から7倍改善できるという。

チョン氏らはハードウェアの制約から、AlibabaのQwen 3-30BやMetaのLlama 3.1-70Bなど比較的小規模なモデルしかテストできなかった。より大規模なモデルはGPU需要が高いためボトルネックの影響は少ないかもしれないが、エージェント型AIはトークン長をさらに押し上げると同氏は予測する。「AnthropicのClaudeのようなモデルでは、50万、場合によっては100万トークンに簡単に達するでしょう。エージェント型AIの世界では平均シーケンス長が伸び続けるため、この問題は将来のワークロードでさらに悪化すると思います」。

市場にはCPU需要急増の明確な兆候が表れている。IntelのサーバーCPUは少なくとも年末まで完売し、AMDはサーバーCPUの予測を倍増させた。ArmとQualcommはエージェント型AIを加速する新しいCPUを発表し、NVIDIAもVera Rubinプラットフォームの一部であるArmベースCPU「Vera」をエージェント型AI向けに優先している。キンボール氏は、これらの動きからAI業界がCPU性能を重視し始めているのは明らかだとする。需要の急増は、CPUがエージェント型AIシステムの中核コンポーネントと見なされるようになった「絶対的な証拠」だと同氏は言う。

残念ながら、これはGPUやメモリで既に起きているように、CPUの広範な供給不足と価格上昇につながる可能性がある。「ある程度のCPU逼迫は既に起きています。市場の制約を見れば、それは消費者向け領域にも波及しています」とキンボール氏は警告する。同氏はまた、Intelが18Aプロセスによるクライアント部門の売上増加にもかかわらず、クライアントCPUの生産を削減しサーバーCPUを優先していることを挙げ、CPUメーカーが利益を追うだろうと指摘している。