2026-05-16 04:00 UTC+8僅摘要更新: 2026-06-30 21:03 UTC+8

Zyphra釋出ZAYA1-8B-Diffusion-Preview：首個從自迴歸LLM轉換的MoE擴散模型，速度提升達7.7倍

Zyphra釋出了ZAYA1-8B-Diffusion-Preview，這是首個從自迴歸LLM轉換的MoE擴散模型。該模型透過將解碼從記憶體頻寬受限轉變為計算受限，實現了高達7.7倍的推理加速。模型基於ZAYA1-8B，採用TiDAR配方進行擴散轉換訓練，並提供了無損和logit-mixing兩種取樣器。在AMD硬體上執行，展現了顯著的效率提升。

來源MarkTechPost作者: Asif Razzaq

回報錯誤

更正管道尚未開通，可先複製下方文章資訊留存。

查看更正說明

本文僅提供摘要

根據來源內容權限，本站僅提供編輯摘要、要點和原文連結。

展開要點與分析

文章情報

工程師進階

要點

Zyphra推出ZAYA1-8B-Diffusion-Preview，首個從自迴歸轉換的MoE擴散語言模型。
透過一次性生成16個token的塊，利用共享KV快取，將推理從記憶體頻寬受限轉為計算受限。
提供無損（4.6倍加速）和logit-mixing（7.7倍加速）兩種取樣器，可在執行時權衡速度與質量。
模型基於ZAYA1-8B，經過1.1萬億token的擴散轉換和上下文擴充套件訓練，在AMD GPU上訓練和執行。

要點與分析由自動化流程生成，可能有誤，請結合原始來源核實。