腾讯发布Hy3：开放295B混合专家模型，21B活跃参数，支持256K上下文

腾讯Hy团队正式发布了Hy3模型。Hy3是一个拥有295B参数的混合专家（MoE）模型，每个token仅激活21B参数。模型权重以Apache 2.0许可开源，主要面向推理、代理工作流和长上下文任务。

Hy3架构解析

Hy3采用稀疏MoE架构，包含192个专家和top-8路由机制。每个token仅激活8个专家，从而保持较低的计算成本。此外，模型集成了多token预测（MTP）层，可同时预测多个token，加速解码过程。vLLM和SGLang已通过推测解码支持该特性。

下表展示了Hy3的关键属性：

• 架构：混合专家（MoE）
• 总参数：295B
• 激活参数：21B
• MTP层参数：3.8B
• 层数（不含MTP）：80
• MTP层数：1
• 注意力头：64（GQA，8个KV头，头维度128）
• 隐藏层大小：4096
• 中间层大小：13312
• 上下文长度：256K
• 词表大小：120832
• 专家数：192个专家，激活top-8
• 支持精度：BF16

此外，团队还发布了Hy3-FP8检查点，通过降低内存占用实现更经济的服务部署。

基准测试与性能

研究团队公布了在编码、代理和STEM领域的多项评分。在编码方面，Hy3在SWE-Bench Verified上获得78.0分，SWE-Bench Pro上获得57.9分，SWE-Bench Multilingual上获得75.8分。Terminal-Bench 2.1得分71.7，DeepSWE得分28.0。

在STEM和推理任务上，Hy3表现更为出色：GPQA Diamond得分90.4，USAMO 2026得分72.0，IMOAnswerBench得分90.0，HLE（使用工具）得分53.2。

研究团队还进行了一项由270名专家参与的盲测，收集了312个实际工作流的有效比较。Hy3得分为2.67/4，高于GLM-5.1的2.51。优势领域包括前端开发、CI/CD以及数据与存储。

可靠性与生产环境表现

团队特别关注了生产环境下的可靠性，针对三种失败模式进行了优化：

• 工具调用与输出格式：修复了导致代理中断的稳定性问题，无效调用引发的无限循环大幅减少。Hy3在不同代理框架（CodeBuddy、Cline、KiloCode）上的SWE-Bench Verified准确率差异保持在4%以内。
• 世界知识与反幻觉：模型在不确定时明确标记缺少证据。内部评估显示，幻觉率从12.5%降至5.4%，常识性错误率从25.4%降至12.7%。
• 多轮意图追踪：联合监督微调与强化学习改进了指代和约束跟踪。内部问题率从17.4%降至7.9%，在MRCR长对话基准上得分从42.9%提升至75.1%。

如何使用Hy3

Hy3提供兼容OpenAI的API。用户可通过vLLM或SGLang部署后调用端点。关键的reasoning_effort参数控制模型的思考深度：

• no_think：直接回答
• low：轻度思考
• high：深度链式思考（适用于数学、编码等多步骤任务）

推荐参数为temperature=0.9和top_p=1.0。无需本地硬件即可在OpenRouter上体验免费版（tencent/hy3:free），该免费通道持续至2026年7月21日。

应用场景

Hy3专为代理风格的长上下文任务设计，典型用例包括：

• 编码代理：将完整代码仓库放入256K窗口，使用高推理努力修复失败测试。稳定的工具调用支持跨文件编辑。
• 文档处理：处理长合同或文件，反幻觉训练减少虚构条款和错误引用。
• 金融分析：合并表格与文本，生成基于事实的摘要，缺失数据时明确标记。
• 前端与游戏开发：生成React组件或小型游戏循环。盲测显示其在前端任务上优于GLM-5.1。

Hy3 vs GLM-5.2

腾讯团队将Hy3与GLM-5.2进行了对比。GLM-5.2约为744B MoE，激活参数约40B。Hy3的总规模不到其一半，激活参数仅21B。在编码基准上，GLM-5.2全面领先，但Hy3以更小的活跃参数换取了更低的部署成本。

| 基准 | Hy3 (21B激活) | GLM-5.2 (~40B激活) | |------|---------------|--------------------| | SWE-Bench Verified | 78.0 | 84.2 | | SWE-Bench Multilingual | 75.8 | 83.0 | | Terminal-Bench 2.1 | 71.7 | 81.0 | | DeepSWE | 28.0 | 46.2 | | 总参数/激活参数 | 295B / 21B | ~744B / ~40B | | 许可 | Apache 2.0 | 开放权重 |

部署注意事项

Hy3总参数达295B，推荐使用8块GPU（如H20-3e或更大显存）进行部署。vLLM和SGLang均提供启用MTP的配置。最低启动命令如下：

vllm serve tencent/Hy3 \
--tensor-parallel-size 8 \
--speculative-config.method mtp \
--speculative-config.num_speculative_tokens 2 \
--tool-call-parser hy_v3 \
--reasoning-parser hy_v3 \
--enable-auto-tool-choice \
--port 8000 \
--served-model-name hy3

团队还提供了AngelSlim工具包，支持量化、低比特方法和推测采样。完整的微调流程也已开放。

Hy3现已可通过Hugging Face和GitHub获取，更多技术细节请参考官方文档。