AI News HubLIVE
站内改写1 分钟阅读

DiffusionGemma:谷歌开源高速文本生成模型

谷歌发布了名为DiffusionGemma的新开源模型,基于Apache 2许可证,可在NVIDIA的NIM云API上免费使用。该模型在生成速度上表现卓越,达到每秒500个token以上。

谷歌发布了DiffusionGemma,一款全新的开源文本生成模型,采用Apache 2许可证,标志着该公司在高效文本生成领域迈出了重要一步。该模型源于去年短暂发布的实验性Gemini Diffusion模型,当时仅以预览形式出现,而如今以开放权重模型的形式回归,名为google/diffusiongemma-26B-A4B-it。

NVIDIA目前通过其NIM云API免费提供该模型。用户在测试中仅用4.4秒即可生成2,409个token,相当于每秒超过500个token,展现了极高的推理效率。这一速度与去年预览版Gemini Diffusion模型的857 tokens/秒性能相当,但如今作为开源模型,更便于开发者集成与使用。

DiffusionGemma基于Gemma架构,专为快速文本生成优化,适合需要低延迟响应的应用场景。其开源许可允许商业使用和修改,有望推动AI文本生成技术的广泛应用。