AI News HubLIVE
站內改寫1 分鐘閱讀

您可能錯過的RAISE Summit三大洞察

代理推理正在將AI基礎設施的重心從訓練擴展轉向上下文感知、記憶增強推理。RAISE峯會強調了三大關鍵洞察:AI堆棧專業化、存儲作為主動內存擴展、以及資本和數據主權融入基礎設施設計。

來源SiliconANGLE AI作者: Victoria Gayton

代理推理正在重塑AI基礎設施的重心。原本聚焦於擴展訓練的競賽,如今已轉向擴展上下文窗口、記憶增強推理以及持續為GPU供給數據的新階段。隨着企業深入採用代理系統,存儲已躍升為AI性能的關鍵路徑。

RAISE峯會上,行業領袖揭示了三大關鍵洞察:

洞察一:代理推理推動AI堆棧專業化。 AMD正在通過優化CPU、GPU、自適應計算和網絡來應對多樣化的AI工作負載,而非僅關注單個芯片。其ROCm軟件堆棧為數據中心集羣、邊緣部署和AI PC提供一致層。Tensordyne通過其Napier推理芯片採用帕累託對數數字系統,用加法代替乘法,大幅降低功耗。d-Matrix則通過Corsair加速器與Nvidia Hopper和Blackwell GPU的配對,實現異構推理,滿足計算密集型預填充和延遲敏感型令牌生成的不同需求。

洞察二:存儲成為AI內存的主動擴展。 在代理推理中,單個提示擴展為長時間會話,上下文數據量可能超過GPU內存。超大規模雲提供商正在用高容量固態存儲替換傳統基礎設施,並使其靠近加速器。Solidigm的AI中央實驗室在實際硬件和軟件上運行真實負載,驗證存儲性能。高密度固態硬盤配置通過減少機架空間來降低存儲功耗。

洞察三:資本和數據主權融入AI基礎設施。 代理推理項目不僅需要電力和GPU,融資瓶頸也可能導致停滯。Argentum AI採用需求優先模式,先獲取客户再承諾資本,利用合同收入支持建設。數據主權正從合規問題轉變為架構問題,涉及領土、運營、堆棧、法律和單位經濟。知識圖譜提供了另一種控制方式,允許確定性決策與概率模型並存,為企業提供一致的業務規則和可解釋性。

這些洞察表明,代理推理正在推動從純計算到專業化架構、內存和存儲、資本部署以及企業數據主權的全面擴展。存儲不再是被動組件,而是成為系統內存的延伸;資本和數據主權成為基礎設施決策的核心部分。

(以上內容基於RAISE Summit的報道編譯,部分內容引自SiliconANGLE。)