跳到主要内容
AI News HubLIVE
更多
仅摘要

DGX工作站与“前沿”模型:深度调查本地AI的真相

本文深入调查NVIDIA DGX工作站的实际能力,揭露其748GB统一内存中仅252GB为高速HBM3e,其余为低速LPDDR5X。通过Cornell、Snowflake等使用案例和GLM-5.2等基准测试,探讨其能否承载本地前沿模型推理。

来源Hacker News AI作者: connorturland
DGX工作站与“前沿”模型:深度调查本地AI的真相
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明

本文仅提供摘要

根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。

展开要点与分析

文章情报

工程师进阶

要点

  • DGX工作站拥有748GB统一内存,但仅252GB为高速HBM3e(7.1TB/s),496GB为低速LPDDR5X(396GB/s),NVLink-C2C实测未达标称900GB/s。
  • 售价约10万美元,与多GPU RTX PRO 6000、云推理及Mac Studio等方案竞争,买家需评估是否值得。
  • Cornell团队在DGX上实现Qwen3-30B-A3B 5.7倍于A100的吞吐量,Snowflake完成136K序列长度微调;但GLM-5.2 REAP仅60 tok/s,且为剪枝版本。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。