跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

您可能错过的RAISE Summit三大洞察

文章摘要

代理推理正在将AI基础设施的重心从训练扩展转向上下文感知、记忆增强推理。RAISE峰会强调了三大关键洞察:AI堆栈专业化、存储作为主动内存扩展、以及资本和数据主权融入基础设施设计。

来源SiliconANGLE AI作者: Victoria Gayton
您可能错过的RAISE Summit三大洞察
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

代理推理正在重塑AI基础设施的重心。原本聚焦于扩展训练的竞赛,如今已转向扩展上下文窗口、记忆增强推理以及持续为GPU供给数据的新阶段。随着企业深入采用代理系统,存储已跃升为AI性能的关键路径。

RAISE峰会上,行业领袖揭示了三大关键洞察:

洞察一:代理推理推动AI堆栈专业化。 AMD正在通过优化CPU、GPU、自适应计算和网络来应对多样化的AI工作负载,而非仅关注单个芯片。其ROCm软件堆栈为数据中心集群、边缘部署和AI PC提供一致层。Tensordyne通过其Napier推理芯片采用帕累托对数数字系统,用加法代替乘法,大幅降低功耗。d-Matrix则通过Corsair加速器与Nvidia Hopper和Blackwell GPU的配对,实现异构推理,满足计算密集型预填充和延迟敏感型令牌生成的不同需求。

洞察二:存储成为AI内存的主动扩展。 在代理推理中,单个提示扩展为长时间会话,上下文数据量可能超过GPU内存。超大规模云提供商正在用高容量固态存储替换传统基础设施,并使其靠近加速器。Solidigm的AI中央实验室在实际硬件和软件上运行真实负载,验证存储性能。高密度固态硬盘配置通过减少机架空间来降低存储功耗。

洞察三:资本和数据主权融入AI基础设施。 代理推理项目不仅需要电力和GPU,融资瓶颈也可能导致停滞。Argentum AI采用需求优先模式,先获取客户再承诺资本,利用合同收入支持建设。数据主权正从合规问题转变为架构问题,涉及领土、运营、堆栈、法律和单位经济。知识图谱提供了另一种控制方式,允许确定性决策与概率模型并存,为企业提供一致的业务规则和可解释性。

这些洞察表明,代理推理正在推动从纯计算到专业化架构、内存和存储、资本部署以及企业数据主权的全面扩展。存储不再是被动组件,而是成为系统内存的延伸;资本和数据主权成为基础设施决策的核心部分。

(以上内容基于RAISE Summit的报道编译,部分内容引自SiliconANGLE。)

展开要点与分析

文章情报

工程师进阶

要点

  • 代理推理推动AI堆栈专业化,AMD、Tensordyne和d-Matrix等公司提供优化硬件。
  • 存储成为AI内存的主动扩展,高容量SSD靠近GPU防止计算空闲。
  • 资本融资和数据主权正成为AI基础设施的关键组成部分,如Argentum AI的需求优先模式。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。