OpenAI與博通聯合推出定製Jalapeño芯片，用於AI推理

OpenAI集團今日宣佈推出其自主研發的定製芯片Jalapeño，該芯片專門用於驅動其大型語言模型的推理任務。這一處理器是OpenAI與博通公司合作的成果，博通在定製芯片設計領域經驗豐富，曾協助谷歌開發其TPU系列AI加速器。今年4月，谷歌已將其與博通的芯片合作延長至2031年。

與英偉達的旗艦產品Rubin顯卡同時支持訓練和推理不同，Jalapeño僅專注於推理——即根據查詢運行AI模型的過程。OpenAI表示，早期測試表明，該芯片在推理任務中的每瓦性能顯著高於“當前最先進水平”，這可能暗指英偉達的芯片。

關於Jalapeño的設計細節，該公司透露的信息有限。但其宣佈該芯片的博文中提到，底層“架構減少了數據移動”。這暗示Jalapeño的架構可能旨在減少其邏輯電路與片外內存之間的數據傳輸，這是推理集羣中主要的性能瓶頸之一。

AI芯片供應商採用多種方法來減少數據移動。最常見的方法之一是為加速器配備大量片上SRAM，這是一種高速內存。SRAM越多，需要發送到片外內存的數據就越少。Cerebras Systems和Groq等公司已經採用了這種方法。

OpenAI表示，其基於Jalapeño的推理集羣將使用多種博通網絡技術，其中包括Tomahawk芯片系列，該系列旨在為以太網交換機提供動力。基於Tomahawk的交換機可用於在同一個機架內以及不同機架之間的服務器之間傳輸數據。博通最新的Tomahawk 6芯片每秒可處理高達1.6太比特的流量，其內置的擁塞管理引擎可修復可能拖慢連接的網絡瓶頸。

OpenAI計劃將Jalapeño及其博通提供的網絡設備部署在定製服務器機架中。這家ChatGPT開發商正在與多倫多數據中心設備設計服務提供商Celestia合作開發這些系統。Celestia還可幫助客户優化其服務器生產線。

首批Jalapeño服務器將於今年年底上線。OpenAI計劃逐步擴大該芯片的使用範圍。其博文將Jalapeño描述為“多代計算平台的第一步”，暗示未來可能開發更多推理處理器。另一種可能性是，OpenAI將針對相鄰用例（如模型訓練）設計定製芯片。

Jalapeño可能為OpenAI開闢新的收入來源。英偉達以DGX設備的形式銷售其顯卡，這些系統還包括中央處理器、冷卻模塊和其他硬件。OpenAI有能力將具有競爭力的Jalapeño設備推向市場，甚至可以讓客户在本地運行其AI模型。進入利潤豐厚的AI硬件市場不僅可能提振OpenAI的收入增長，還可能提升投資者對其即將進行的公開募股的興趣。其最大競爭對手Anthropic最近也申請了上市。在路演中，推理硬件產品可能成為OpenAI的有力差異化因素，尤其是如果Anthropic率先上市的話。