OpenAI與博通聯合推出定製Jalapeño晶片，用於AI推理

OpenAI集團今日宣佈推出其自主研發的定製晶片Jalapeño，該晶片專門用於驅動其大型語言模型的推理任務。這一處理器是OpenAI與博通公司合作的成果，博通在定製晶片設計領域經驗豐富，曾協助谷歌開發其TPU系列AI加速器。今年4月，谷歌已將其與博通的晶片合作延長至2031年。

與輝達的旗艦產品Rubin顯示卡同時支援訓練和推理不同，Jalapeño僅專注於推理——即根據查詢執行AI模型的過程。OpenAI表示，早期測試表明，該晶片在推理任務中的每瓦效能顯著高於“當前最先進水平”，這可能暗指輝達的晶片。

關於Jalapeño的設計細節，該公司透露的資訊有限。但其宣佈該晶片的博文中提到，底層“架構減少了資料移動”。這暗示Jalapeño的架構可能旨在減少其邏輯電路與片外記憶體之間的資料傳輸，這是推理叢集中主要的效能瓶頸之一。

AI晶片供應商採用多種方法來減少資料移動。最常見的方法之一是為加速器配備大量片上SRAM，這是一種高速記憶體。SRAM越多，需要傳送到片外記憶體的資料就越少。Cerebras Systems和Groq等公司已經採用了這種方法。

OpenAI表示，其基於Jalapeño的推理叢集將使用多種博通網路技術，其中包括Tomahawk晶片系列，該系列旨在為乙太網交換機提供動力。基於Tomahawk的交換機可用於在同一個機架內以及不同機架之間的伺服器之間傳輸資料。博通最新的Tomahawk 6晶片每秒可處理高達1.6太位元的流量，其內建的擁塞管理引擎可修復可能拖慢連線的網路瓶頸。

OpenAI計劃將Jalapeño及其博通提供的網路裝置部署在定製伺服器機架中。這家ChatGPT開發商正在與多倫多資料中心裝置設計服務提供商Celestia合作開發這些系統。Celestia還可幫助客戶最佳化其伺服器生產線。

首批Jalapeño伺服器將於今年年底上線。OpenAI計劃逐步擴大該晶片的使用範圍。其博文將Jalapeño描述為“多代計算平臺的第一步”，暗示未來可能開發更多推理處理器。另一種可能性是，OpenAI將針對相鄰用例（如模型訓練）設計定製晶片。

Jalapeño可能為OpenAI開闢新的收入來源。輝達以DGX裝置的形式銷售其顯示卡，這些系統還包括中央處理器、冷卻模組和其他硬體。OpenAI有能力將具有競爭力的Jalapeño裝置推向市場，甚至可以讓客戶在本地執行其AI模型。進入利潤豐厚的AI硬體市場不僅可能提振OpenAI的收入增長，還可能提升投資者對其即將進行的公開募股的興趣。其最大競爭對手Anthropic最近也申請了上市。在路演中，推理硬體產品可能成為OpenAI的有力差異化因素，尤其是如果Anthropic率先上市的話。