AI News HubLIVE
站内改写1 分钟阅读

您可能错过的RAISE Summit三大洞察

代理推理正在将AI基础设施的重心从训练扩展转向上下文感知、记忆增强推理。RAISE峰会强调了三大关键洞察:AI堆栈专业化、存储作为主动内存扩展、以及资本和数据主权融入基础设施设计。

来源SiliconANGLE AI作者: Victoria Gayton

代理推理正在重塑AI基础设施的重心。原本聚焦于扩展训练的竞赛,如今已转向扩展上下文窗口、记忆增强推理以及持续为GPU供给数据的新阶段。随着企业深入采用代理系统,存储已跃升为AI性能的关键路径。

RAISE峰会上,行业领袖揭示了三大关键洞察:

洞察一:代理推理推动AI堆栈专业化。 AMD正在通过优化CPU、GPU、自适应计算和网络来应对多样化的AI工作负载,而非仅关注单个芯片。其ROCm软件堆栈为数据中心集群、边缘部署和AI PC提供一致层。Tensordyne通过其Napier推理芯片采用帕累托对数数字系统,用加法代替乘法,大幅降低功耗。d-Matrix则通过Corsair加速器与Nvidia Hopper和Blackwell GPU的配对,实现异构推理,满足计算密集型预填充和延迟敏感型令牌生成的不同需求。

洞察二:存储成为AI内存的主动扩展。 在代理推理中,单个提示扩展为长时间会话,上下文数据量可能超过GPU内存。超大规模云提供商正在用高容量固态存储替换传统基础设施,并使其靠近加速器。Solidigm的AI中央实验室在实际硬件和软件上运行真实负载,验证存储性能。高密度固态硬盘配置通过减少机架空间来降低存储功耗。

洞察三:资本和数据主权融入AI基础设施。 代理推理项目不仅需要电力和GPU,融资瓶颈也可能导致停滞。Argentum AI采用需求优先模式,先获取客户再承诺资本,利用合同收入支持建设。数据主权正从合规问题转变为架构问题,涉及领土、运营、堆栈、法律和单位经济。知识图谱提供了另一种控制方式,允许确定性决策与概率模型并存,为企业提供一致的业务规则和可解释性。

这些洞察表明,代理推理正在推动从纯计算到专业化架构、内存和存储、资本部署以及企业数据主权的全面扩展。存储不再是被动组件,而是成为系统内存的延伸;资本和数据主权成为基础设施决策的核心部分。

(以上内容基于RAISE Summit的报道编译,部分内容引自SiliconANGLE。)