跳到主要内容
AI News HubLIVE
更多
仅摘要

谷歌AI发布DiffusionGemma:26B MoE开放模型,采用文本扩散技术实现最高4倍生成速度

DiffusionGemma是Google DeepMind推出的实验性开放文本生成模型,采用文本扩散而非标准自回归解码,在专用GPU上可实现最高4倍生成加速。模型参数量26B(MoE架构,推理时仅激活3.8B),基于Gemma 4骨干,支持多模态输入(文本、图像、视频),上下文窗口256K,覆盖140+语言,采用Apache 2.0许可。

来源MarkTechPost作者: Asif Razzaq
谷歌AI发布DiffusionGemma:26B MoE开放模型,采用文本扩散技术实现最高4倍生成速度
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明

本文仅提供摘要

根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。

展开要点与分析

文章情报

工程师进阶

要点

  • DiffusionGemma是26B参数的混合专家(MoE)模型,推理时仅激活3.8B参数,通过并行文本扩散生成整块文本。
  • 在单个NVIDIA H100上达到1000+ tokens/s,RTX 5090上700+ tokens/s,量化后仅需18GB VRAM。
  • 双向注意力机制支持自我修正(重新噪声化低置信度token),不同于自回归模型的单向生成。
  • 适用于本地低并发交互式工作负载,如内联编辑、代码补全、长上下文分析等,但输出质量低于标准Gemma 4。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。