跳到主要內容
AI News HubLIVE
更多
僅摘要

英偉達Groq 3:AI推理時代(可能)來臨

英偉達發佈Groq 3語言處理單元(LPU),專為AI推理設計,採用SRAM內存架構實現極低延遲。該芯片基於從Groq公司授權的技術,與Vera Rubin GPU配合使用,通過推理分離技術優化性能,標誌着AI推理市場進入新階段。

來源Hacker News AI作者: mdp2021
英偉達Groq 3:AI推理時代(可能)來臨
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明

本文僅提供摘要

根據來源內容權限,本站僅提供編輯摘要、要點和原文連結。

展開要點與分析

文章情報

工程師進階

要點

  • 英偉達推出Groq 3 LPU,這是其首款專為AI推理設計的芯片。
  • Groq 3採用片上SRAM而非高帶寬內存,實現150 TB/s的內存帶寬,延遲極低。
  • 該芯片與Vera Rubin GPU通過推理分離技術協同工作,分別處理預填充和解碼階段。
  • 此舉驗證了SRAM架構在大規模推理中的重要性,並推動AI應用從訓練轉向推理。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。