OpenAIとBroadcom、AI推論向けカスタムチップ「Jalapeño」を発表

OpenAI Group PBCは本日、大規模言語モデルの推論タスクを処理するためのカスタムチップ「Jalapeño」を発表しました。このプロセッサはBroadcom Inc.との協力の成果であり、同社はカスタムシリコンデザインの分野で豊富な経験を持ち、Google LLCのTPUシリーズAIアクセラレータの開発を支援してきました。4月には、GoogleはBroadcomとのチップ協力を2031年まで延長しています。

Nvidia Corp.の主力製品であるRubinグラフィックスカードはトレーニングと推論の両方に対応していますが、Jalapeñoは推論専用に設計されています。推論とは、クエリに応答してAIモデルを実行するプロセスです。OpenAIによると、初期テストでは、このチップは「現在の最先端」よりも大幅に高い電力効率で推論を実行できることが示されており、これはNvidiaチップを指している可能性があります。

OpenAIはJalapeñoの設計について詳細をほとんど公開していませんが、チップを発表したブログ記事では、その「アーキテクチャがデータ移動を削減する」と述べています。これは、ロジック回路とオフチップメモリ間のデータ転送を減らすように設計されている可能性を示唆しており、推論クラスターにおける主要なパフォーマンスボトルネックの1つです。

AIチップサプライヤーはデータ移動を削減するためにさまざまなアプローチを取っています。一般的な方法の1つは、アクセラレータに大量のオンチップSRAM（高速メモリの一種）を搭載することです。SRAMが多いほど、オフチップメモリに送信するデータが少なくなります。Cerebras Systems Inc.やGroq Inc.がこのアプローチを採用しています。

OpenAIは、Jalapeñoを搭載した推論クラスターが複数のBroadcomネットワーキング技術を使用すると述べています。その1つは、イーサネットスイッチを駆動するために設計された同社のTomahawkチップシリーズです。Tomahawkベースのスイッチは、同じラック内のサーバー間およびラック間のデータ転送に使用できます。Broadcomの最新Tomahawk 6チップは、毎秒最大1.6テラビットのトラフィックを処理でき、内蔵の輻輳管理エンジンが接続を遅くするネットワークボトルネックを修正します。

OpenAIは、JalapeñoとBroadcomが供給するネットワーク機器をカスタムサーバーラックに展開する予定です。ChatGPT開発者は、トロントを拠点とするデータセンター機器設計サービスプロバイダーのCelestia Inc.と協力してシステムを開発しています。同社は顧客のサーバー生産ラインの最適化も支援できます。

最初のJalapeñoサーバーは年内にオンライン化される予定です。OpenAIは時間の経過とともにこのチップの使用を拡大する計画です。ブログ記事では、Jalapeñoを「マルチジェネレーションコンピューティングプラットフォームの第一歩」と説明しており、将来的に追加の推論プロセッサを開発する可能性を示唆しています。別の可能性として、OpenAIはモデルトレーニングなどの隣接ユースケース向けにカスタムチップを設計することも考えられます。

Jalapeñoは同社に新たな収益源をもたらす可能性があります。Nvidiaは、中央処理ユニット、冷却モジュール、その他のハードウェアを含むDGXアプライアンスと呼ばれるシステムの一部としてグラフィックスカードを販売しています。OpenAIは、競合するJalapeño搭載アプライアンスを市場に投入するリソースを持っており、顧客がそのようなシステムを使用して自社のAIモデルをオンプレミスで実行できるようにすることも可能です。収益性の高いAIハードウェア市場への参入は、OpenAIの収益成長を後押しするだけでなく、今後の新規株式公開への投資家の関心を高める可能性があります。同社の最大のライバルであるAnthropic PBCも最近上場を申請しました。推論ハードウェアの提供は、特にAnthropicが先に上場した場合、ロードショーにおいてOpenAIの強力な差別化要因となる可能性があります。