推理給AI芯片初創公司提供了再次證明自己的機會

AI採用達到轉折點，焦點從訓練轉向推理，初創芯片公司有機會在多樣化的推理工作負載中搶佔Nvidia的市場份額。Nvidia收購Groq、AWS與Cerebras合作、Intel與SambaNova合作等例子表明，分解式推理正成為趨勢。Lumai的光學推理加速器和Tenstorrent的RISC-V平台也展示了不同路線。