AIエージェント時代におけるCPUの重要性

AIインフラの議論ではGPUやTPUが注目されがちですが、AIがチャットボットから自律エージェントへと進化するにつれて、CPUの重要性が再認識されています。The New StackはArmのBhumik Patel氏とGoogleのMo Farhat氏にインタビューし、CPUが果たす役割について掘り下げました。

Farhat氏はCPUを「航空管制官」に例え、エージェントがタスクを実行するための調整役を担うと説明します。初期のチャットボットが応答を返すだけだったのに対し、エージェントはツールを呼び出し、コードを実行するための環境を作成します。これらのタスク――オーケストレーション、API通信、メモリ管理――はCPUが得意とする並列分散処理です。また、CPUは小さなモデル（要約器、分類器など）も実行でき、80億パラメータクラスのモデルでも良好なパフォーマンスを発揮し、今後さらに大きなワークロードを処理できると期待されています。

エージェントがコードを安全に実行するには、分離された環境が必要です。GoogleはオープンソースのgVisorを提供し、アプリケーションとホストOSの間にセキュリティ層を設けます。GKE Agent Sandboxでは、クラスタあたり毎秒最大300のサンドボックスを1秒未満で起動可能です。エージェントのワークロードはバースト性が高いため、Podスナップショットとウォームプールを活用してアイドルコストを抑えます。

効率面では、Google Cloud Nextで発表された通り、ArmベースのAxionプロセッサをGKE Agent Sandboxで使用すると、「主要なクラウドプロバイダーと比較して30%優れた価格性能比」を実現します。Axion N4Aインスタンスはコストと効率に最適化され、C4Aインスタンスはシングルスレッド性能が重視される制御フロー処理に適しています。クラウドネイティブ開発者にとって、これらのツールは馴染み深く、エージェント指向のアプローチに自然に拡張できるとPatel氏は述べています。CPUはAIエージェント時代に再び脚光を浴びているのです。