騰訊發佈Hy3：開放295B混合專家模型，21B活躍參數，支持256K上下文

騰訊Hy團隊正式發佈了Hy3模型。Hy3是一個擁有295B參數的混合專家（MoE）模型，每個token僅激活21B參數。模型權重以Apache 2.0許可開源，主要面向推理、代理工作流和長上下文任務。

Hy3架構解析

Hy3採用稀疏MoE架構，包含192個專家和top-8路由機制。每個token僅激活8個專家，從而保持較低的計算成本。此外，模型集成了多token預測（MTP）層，可同時預測多個token，加速解碼過程。vLLM和SGLang已通過推測解碼支持該特性。

下表展示了Hy3的關鍵屬性：

• 架構：混合專家（MoE）
• 總參數：295B
• 激活參數：21B
• MTP層參數：3.8B
• 層數（不含MTP）：80
• MTP層數：1
• 注意力頭：64（GQA，8個KV頭，頭維度128）
• 隱藏層大小：4096
• 中間層大小：13312
• 上下文長度：256K
• 詞表大小：120832
• 專家數：192個專家，激活top-8
• 支持精度：BF16

此外，團隊還發布了Hy3-FP8檢查點，通過降低內存佔用實現更經濟的服務部署。

基準測試與性能

研究團隊公佈了在編碼、代理和STEM領域的多項評分。在編碼方面，Hy3在SWE-Bench Verified上獲得78.0分，SWE-Bench Pro上獲得57.9分，SWE-Bench Multilingual上獲得75.8分。Terminal-Bench 2.1得分71.7，DeepSWE得分28.0。

在STEM和推理任務上，Hy3表現更為出色：GPQA Diamond得分90.4，USAMO 2026得分72.0，IMOAnswerBench得分90.0，HLE（使用工具）得分53.2。

研究團隊還進行了一項由270名專家參與的盲測，收集了312個實際工作流的有效比較。Hy3得分為2.67/4，高於GLM-5.1的2.51。優勢領域包括前端開發、CI/CD以及數據與存儲。

可靠性與生產環境表現

團隊特別關注了生產環境下的可靠性，針對三種失敗模式進行了優化：

• 工具調用與輸出格式：修復了導致代理中斷的穩定性問題，無效調用引發的無限循環大幅減少。Hy3在不同代理框架（CodeBuddy、Cline、KiloCode）上的SWE-Bench Verified準確率差異保持在4%以內。
• 世界知識與反幻覺：模型在不確定時明確標記缺少證據。內部評估顯示，幻覺率從12.5%降至5.4%，常識性錯誤率從25.4%降至12.7%。
• 多輪意圖追蹤：聯合監督微調與強化學習改進了指代和約束跟蹤。內部問題率從17.4%降至7.9%，在MRCR長對話基準上得分從42.9%提升至75.1%。

如何使用Hy3

Hy3提供兼容OpenAI的API。用户可通過vLLM或SGLang部署後調用端點。關鍵的reasoning_effort參數控制模型的思考深度：

• no_think：直接回答
• low：輕度思考
• high：深度鏈式思考（適用於數學、編碼等多步驟任務）

推薦參數為temperature=0.9和top_p=1.0。無需本地硬件即可在OpenRouter上體驗免費版（tencent/hy3:free），該免費通道持續至2026年7月21日。

應用場景

Hy3專為代理風格的長上下文任務設計，典型用例包括：

• 編碼代理：將完整代碼倉庫放入256K窗口，使用高推理努力修復失敗測試。穩定的工具調用支持跨文件編輯。
• 文檔處理：處理長合同或文件，反幻覺訓練減少虛構條款和錯誤引用。
• 金融分析：合併表格與文本，生成基於事實的摘要，缺失數據時明確標記。
• 前端與遊戲開發：生成React組件或小型遊戲循環。盲測顯示其在前端任務上優於GLM-5.1。

Hy3 vs GLM-5.2

騰訊團隊將Hy3與GLM-5.2進行了對比。GLM-5.2約為744B MoE，激活參數約40B。Hy3的總規模不到其一半，激活參數僅21B。在編碼基準上，GLM-5.2全面領先，但Hy3以更小的活躍參數換取了更低的部署成本。

| 基準 | Hy3 (21B激活) | GLM-5.2 (~40B激活) | |------|---------------|--------------------| | SWE-Bench Verified | 78.0 | 84.2 | | SWE-Bench Multilingual | 75.8 | 83.0 | | Terminal-Bench 2.1 | 71.7 | 81.0 | | DeepSWE | 28.0 | 46.2 | | 總參數/激活參數 | 295B / 21B | ~744B / ~40B | | 許可 | Apache 2.0 | 開放權重 |

部署注意事項

Hy3總參數達295B，推薦使用8塊GPU（如H20-3e或更大顯存）進行部署。vLLM和SGLang均提供啓用MTP的配置。最低啓動命令如下：

vllm serve tencent/Hy3 \
--tensor-parallel-size 8 \
--speculative-config.method mtp \
--speculative-config.num_speculative_tokens 2 \
--tool-call-parser hy_v3 \
--reasoning-parser hy_v3 \
--enable-auto-tool-choice \
--port 8000 \
--served-model-name hy3

團隊還提供了AngelSlim工具包，支持量化、低比特方法和推測採樣。完整的微調流程也已開放。

Hy3現已可通過Hugging Face和GitHub獲取，更多技術細節請參考官方文檔。