2026-05-16 04:00 UTC+8僅摘要更新: 2026-06-30 21:03 UTC+8

Zyphra發佈ZAYA1-8B-Diffusion-Preview：首個從自迴歸LLM轉換的MoE擴散模型，速度提升達7.7倍

Zyphra發佈了ZAYA1-8B-Diffusion-Preview，這是首個從自迴歸LLM轉換的MoE擴散模型。該模型通過將解碼從內存帶寬受限轉變為計算受限，實現了高達7.7倍的推理加速。模型基於ZAYA1-8B，採用TiDAR配方進行擴散轉換訓練，並提供了無損和logit-mixing兩種採樣器。在AMD硬件上運行，展現了顯著的效率提升。

來源MarkTechPost作者: Asif Razzaq

報告錯誤

更正渠道尚未開通，可先複製下方文章資訊留存。

查看更正說明

本文僅提供摘要

根據來源內容權限，本站僅提供編輯摘要、要點和原文連結。

展開要點與分析

文章情報

工程師進階

要點

Zyphra推出ZAYA1-8B-Diffusion-Preview，首個從自迴歸轉換的MoE擴散語言模型。
通過一次性生成16個token的塊，利用共享KV緩存，將推理從內存帶寬受限轉為計算受限。
提供無損（4.6倍加速）和logit-mixing（7.7倍加速）兩種採樣器，可在運行時權衡速度與質量。
模型基於ZAYA1-8B，經過1.1萬億token的擴散轉換和上下文擴展訓練，在AMD GPU上訓練和運行。

要點與分析由自動化流程生成，可能有誤，請結合原始來源核實。