跳到主要內容
AI News HubLIVE
更多
僅摘要

Red Hat 和 Intel 聚焦可擴充套件 AI 推理,企業超越 GPU 淘金熱

隨著企業從AI實驗轉向廣泛部署,Red Hat 和 Intel 強調使用 CPU 和開源工具(如 vLLM)實現成本效益高的可擴充套件推理,超越以 GPU 為主的基礎設施。

來源SiliconANGLE AI作者: Ryan Stevens
Red Hat 和 Intel 聚焦可擴充套件 AI 推理,企業超越 GPU 淘金熱
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明

本文僅提供摘要

根據來源內容權限,本站僅提供編輯摘要、要點和原文連結。

展開要點與分析

文章情報

工程師進階

要點

  • 企業專注於在不超預算的情況下實現可擴充套件的AI推理。
  • CPU越來越多地用於代理推理任務,釋放GPU用於繁重工作負載。
  • Red Hat 和 Intel 合作,將 Intel Xeon 的完整 vLLM 支援引入 Red Hat AI 3.4。
  • CPU和GPU的正確平衡可實現更好的單位令牌成本。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。