Together AI 宣佈,正在與 IBM 和 NVIDIA 合作,擴大企業級 AI 推理規模。此次合作的起點,是在 IBM Cloud 上部署一個大規模 NVIDIA B300 GPU 集羣,並由 NVIDIA Spectrum-X 以太網網絡提供支撐。這是 IBM Cloud 上首個此類專用的大規模推理集羣,而 Together AI 則成為該集羣的首個客户。相關消息由作者 Kai Mak 在 2026 年 10 月 6 日發佈的博文中披露。
具體來看,這套基礎設施由專用 NVIDIA B300 GPU 集羣組成,專門面向推理任務,並運行在 IBM Cloud 上。分工上,Together AI 負責運營推理層,IBM 提供雲平台,NVIDIA 提供芯片與網絡能力。Together AI 還表示,隨着 token 需求呈拋物線式增長,公司已經在為未來做規劃。文章也提到,已有 40 多個模型被用於生產環境。
Together AI 解釋,之所以啓動這家公司,是因為相信 AI 的未來不應被少數閉源實驗室所擁有。這一判斷正在加速兑現:公司每月服務數百兆 token,覆蓋超過一百萬開發者,而且需求仍在持續攀升。企業和 AI 原生公司選擇開放模型,原因主要有兩點:一是主權數據仍然歸自己所有,二是能夠以遠低於閉源模型的成本獲得前沿級性能。使用規模越大,這種成本效益就越明顯。
在合作中,NVIDIA 提供為高吞吐推理而設計的 B300 GPU 和 Spectrum-X 以太網網絡;IBM 帶來數十年為全球大型企業運行關鍵任務基礎設施的經驗;Together AI 則提供推理平台,號稱是在生產環境中運行開放模型最快、最高效的方式,並經過全球一些最嚴苛 AI 工作負載的打磨。三者結合後,目標很明確:實現大規模企業級推理,帶來更多生產級 token,同時具備企業所期望的可靠性、安全性和防護機制。
文章強調,開源 AI 必須像閉源方案一樣,能夠在各種環境中大規模、快速且可靠地運行。Together AI 表示,過去幾年一直在確保這一點,而此次合作正是朝這個方向邁出的重要一步。