腾讯发布Hy3模型:295B参数MoE架构,Apache 2.0开源
腾讯Hy团队正式发布Hy3模型,这是一款295B总参数、21B活跃参数的混合专家(MoE)大语言模型,采用Apache 2.0许可。该模型在性能上超越同尺寸模型,并可匹敌2-5倍参数量的旗舰开源模型。完整版598GB,FP8量化版300GB,上下文长度256K,支持长文本处理。OpenRouter提供免费使用至2026年7月21日。
2026年7月6日,腾讯Hy团队正式发布Hy3模型,这是一款基于混合专家(Mixture-of-Experts, MoE)架构的大语言模型。Hy3拥有2950亿总参数,其中活跃参数为210亿,并包含38亿的MTP层参数。该模型以Apache 2.0开源许可发布,允许广泛的研究和商业使用。
腾讯表示,Hy3在性能上显著超越了同等参数规模的模型,并且能够与参数规模大2至5倍的旗舰级开源模型竞争。这一成果源于4月底Hy3 Preview发布后,团队收集了超过50个产品的反馈,并利用更高质量的数据进行了扩展式后训练,从而大幅提升了模型的实用性和生产力。
Hy3已在Hugging Face平台上线,完整模型大小为598GB,同时提供FP8量化版本,体积缩减至300GB,便于部署和推理。模型支持256K的上下文长度,能够处理超长文本任务,如文档分析和长对话。此外,用户可以在OpenRouter上免费使用Hy3,该免费服务将持续到2026年7月21日,之后可能转为付费。
知名开发者Simon Willison在测试中要求模型“生成一只鸬鹚骑自行车的SVG”,模型成功输出了简洁的矢量图形,展示了其图像生成能力。这一发布不仅丰富了腾讯在AI领域的产品线,也为开源社区提供了又一个强大且开放的模型选择。Hy3的出现有望推动更多开发者探索MoE架构的应用,并在多种场景中降低推理成本。