2026-05-16 04:00 UTC+8仅摘要更新: 2026-06-30 21:03 UTC+8

Zyphra发布ZAYA1-8B-Diffusion-Preview：首个从自回归LLM转换的MoE扩散模型，速度提升达7.7倍

Zyphra发布了ZAYA1-8B-Diffusion-Preview，这是首个从自回归LLM转换的MoE扩散模型。该模型通过将解码从内存带宽受限转变为计算受限，实现了高达7.7倍的推理加速。模型基于ZAYA1-8B，采用TiDAR配方进行扩散转换训练，并提供了无损和logit-mixing两种采样器。在AMD硬件上运行，展现了显著的效率提升。

来源MarkTechPost作者: Asif Razzaq

报告错误

纠错通道尚未开通，可先复制下方文章信息留存。

查看更正说明

本文仅提供摘要

根据来源内容权限，本站仅提供编辑摘要、要点和原文链接。

展开要点与分析

文章情报

工程师进阶

要点

Zyphra推出ZAYA1-8B-Diffusion-Preview，首个从自回归转换的MoE扩散语言模型。
通过一次性生成16个token的块，利用共享KV缓存，将推理从内存带宽受限转为计算受限。
提供无损（4.6倍加速）和logit-mixing（7.7倍加速）两种采样器，可在运行时权衡速度与质量。
模型基于ZAYA1-8B，经过1.1万亿token的扩散转换和上下文扩展训练，在AMD GPU上训练和运行。

要点与分析由自动化流程生成，可能有误，请结合原始来源核实。