OpenAI与博通联合推出定制Jalapeño芯片，用于AI推理

OpenAI集团今日宣布推出其自主研发的定制芯片Jalapeño，该芯片专门用于驱动其大型语言模型的推理任务。这一处理器是OpenAI与博通公司合作的成果，博通在定制芯片设计领域经验丰富，曾协助谷歌开发其TPU系列AI加速器。今年4月，谷歌已将其与博通的芯片合作延长至2031年。

与英伟达的旗舰产品Rubin显卡同时支持训练和推理不同，Jalapeño仅专注于推理——即根据查询运行AI模型的过程。OpenAI表示，早期测试表明，该芯片在推理任务中的每瓦性能显著高于“当前最先进水平”，这可能暗指英伟达的芯片。

关于Jalapeño的设计细节，该公司透露的信息有限。但其宣布该芯片的博文中提到，底层“架构减少了数据移动”。这暗示Jalapeño的架构可能旨在减少其逻辑电路与片外内存之间的数据传输，这是推理集群中主要的性能瓶颈之一。

AI芯片供应商采用多种方法来减少数据移动。最常见的方法之一是为加速器配备大量片上SRAM，这是一种高速内存。SRAM越多，需要发送到片外内存的数据就越少。Cerebras Systems和Groq等公司已经采用了这种方法。

OpenAI表示，其基于Jalapeño的推理集群将使用多种博通网络技术，其中包括Tomahawk芯片系列，该系列旨在为以太网交换机提供动力。基于Tomahawk的交换机可用于在同一个机架内以及不同机架之间的服务器之间传输数据。博通最新的Tomahawk 6芯片每秒可处理高达1.6太比特的流量，其内置的拥塞管理引擎可修复可能拖慢连接的网络瓶颈。

OpenAI计划将Jalapeño及其博通提供的网络设备部署在定制服务器机架中。这家ChatGPT开发商正在与多伦多数据中心设备设计服务提供商Celestia合作开发这些系统。Celestia还可帮助客户优化其服务器生产线。

首批Jalapeño服务器将于今年年底上线。OpenAI计划逐步扩大该芯片的使用范围。其博文将Jalapeño描述为“多代计算平台的第一步”，暗示未来可能开发更多推理处理器。另一种可能性是，OpenAI将针对相邻用例（如模型训练）设计定制芯片。

Jalapeño可能为OpenAI开辟新的收入来源。英伟达以DGX设备的形式销售其显卡，这些系统还包括中央处理器、冷却模块和其他硬件。OpenAI有能力将具有竞争力的Jalapeño设备推向市场，甚至可以让客户在本地运行其AI模型。进入利润丰厚的AI硬件市场不仅可能提振OpenAI的收入增长，还可能提升投资者对其即将进行的公开募股的兴趣。其最大竞争对手Anthropic最近也申请了上市。在路演中，推理硬件产品可能成为OpenAI的有力差异化因素，尤其是如果Anthropic率先上市的话。