跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

攜手 IBM Cloud 與 NVIDIA 擴充套件企業級推理容量

文章摘要

Together AI 正與 IBM 和 NVIDIA 合作,在 IBM Cloud 上部署首個專用大規模 NVIDIA B300 GPU 推理叢集,並採用 Spectrum-X 乙太網網路,以擴充套件企業級開放模型推理。

攜手 IBM Cloud 與 NVIDIA 擴充套件企業級推理容量
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

Together AI 宣佈,正在與 IBM 和 NVIDIA 合作,擴大企業級 AI 推理規模。此次合作的起點,是在 IBM Cloud 上部署一個大規模 NVIDIA B300 GPU 叢集,並由 NVIDIA Spectrum-X 乙太網網路提供支撐。這是 IBM Cloud 上首個此類專用的大規模推理叢集,而 Together AI 則成為該叢集的首個客戶。相關訊息由作者 Kai Mak 在 2026 年 10 月 6 日釋出的博文中披露。

具體來看,這套基礎設施由專用 NVIDIA B300 GPU 叢集組成,專門面向推理任務,並執行在 IBM Cloud 上。分工上,Together AI 負責運營推理層,IBM 提供雲平臺,NVIDIA 提供晶片與網路能力。Together AI 還表示,隨著 token 需求呈拋物線式增長,公司已經在為未來做規劃。文章也提到,已有 40 多個模型被用於生產環境。

Together AI 解釋,之所以啟動這家公司,是因為相信 AI 的未來不應被少數閉源實驗室所擁有。這一判斷正在加速兌現:公司每月服務數百兆 token,覆蓋超過一百萬開發者,而且需求仍在持續攀升。企業和 AI 原生公司選擇開放模型,原因主要有兩點:一是主權資料仍然歸自己所有,二是能夠以遠低於閉源模型的成本獲得前沿級效能。使用規模越大,這種成本效益就越明顯。

在合作中,NVIDIA 提供為高吞吐推理而設計的 B300 GPU 和 Spectrum-X 乙太網網路;IBM 帶來數十年為全球大型企業執行關鍵任務基礎設施的經驗;Together AI 則提供推理平臺,號稱是在生產環境中執行開放模型最快、最高效的方式,並經過全球一些最嚴苛 AI 工作負載的打磨。三者結合後,目標很明確:實現大規模企業級推理,帶來更多生產級 token,同時具備企業所期望的可靠性、安全性和防護機制。

文章強調,開源 AI 必須像閉源方案一樣,能夠在各種環境中大規模、快速且可靠地執行。Together AI 表示,過去幾年一直在確保這一點,而此次合作正是朝這個方向邁出的重要一步。

展開要點與分析

文章情報

工程師進階

要點

  • Together AI 成為 IBM Cloud 上首個專用大規模 NVIDIA B300 推理叢集的首個客戶。
  • 合作結合 IBM Cloud、NVIDIA B300 GPU 與 Spectrum-X 網路,以及 Together AI 的推理平臺。
  • 目標是在 token 需求飆升之際,為企業提供兼具資料主權、低成本和前沿效能的開放模型推理。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。