跳到主要内容
AI News HubLIVE
更多
仅摘要

英伟达Groq 3:AI推理时代(可能)来临

英伟达发布Groq 3语言处理单元(LPU),专为AI推理设计,采用SRAM内存架构实现极低延迟。该芯片基于从Groq公司授权的技术,与Vera Rubin GPU配合使用,通过推理分离技术优化性能,标志着AI推理市场进入新阶段。

来源Hacker News AI作者: mdp2021
英伟达Groq 3:AI推理时代(可能)来临
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明

本文仅提供摘要

根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。

展开要点与分析

文章情报

工程师进阶

要点

  • 英伟达推出Groq 3 LPU,这是其首款专为AI推理设计的芯片。
  • Groq 3采用片上SRAM而非高带宽内存,实现150 TB/s的内存带宽,延迟极低。
  • 该芯片与Vera Rubin GPU通过推理分离技术协同工作,分别处理预填充和解码阶段。
  • 此举验证了SRAM架构在大规模推理中的重要性,并推动AI应用从训练转向推理。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。