騰訊釋出Hy3：開放295B混合專家模型，21B活躍引數，支援256K上下文

騰訊Hy團隊正式釋出了Hy3模型。Hy3是一個擁有295B引數的混合專家（MoE）模型，每個token僅啟用21B引數。模型權重以Apache 2.0許可開源，主要面向推理、代理工作流和長上下文任務。

Hy3架構解析

Hy3採用稀疏MoE架構，包含192個專家和top-8路由機制。每個token僅啟用8個專家，從而保持較低的計算成本。此外，模型整合了多token預測（MTP）層，可同時預測多個token，加速解碼過程。vLLM和SGLang已透過推測解碼支援該特性。

下表展示了Hy3的關鍵屬性：

• 架構：混合專家（MoE）
• 總引數：295B
• 啟用引數：21B
• MTP層引數：3.8B
• 層數（不含MTP）：80
• MTP層數：1
• 注意力頭：64（GQA，8個KV頭，頭維度128）
• 隱藏層大小：4096
• 中間層大小：13312
• 上下文長度：256K
• 詞表大小：120832
• 專家數：192個專家，啟用top-8
• 支援精度：BF16

此外，團隊還發布了Hy3-FP8檢查點，透過降低記憶體佔用實現更經濟的服務部署。

基準測試與效能

研究團隊公佈了在編碼、代理和STEM領域的多項評分。在編碼方面，Hy3在SWE-Bench Verified上獲得78.0分，SWE-Bench Pro上獲得57.9分，SWE-Bench Multilingual上獲得75.8分。Terminal-Bench 2.1得分71.7，DeepSWE得分28.0。

在STEM和推理任務上，Hy3表現更為出色：GPQA Diamond得分90.4，USAMO 2026得分72.0，IMOAnswerBench得分90.0，HLE（使用工具）得分53.2。

研究團隊還進行了一項由270名專家參與的盲測，收集了312個實際工作流的有效比較。Hy3得分為2.67/4，高於GLM-5.1的2.51。優勢領域包括前端開發、CI/CD以及資料與儲存。

可靠性與生產環境表現

團隊特別關注了生產環境下的可靠性，針對三種失敗模式進行了最佳化：

• 工具呼叫與輸出格式：修復了導致代理中斷的穩定性問題，無效呼叫引發的無限迴圈大幅減少。Hy3在不同代理框架（CodeBuddy、Cline、KiloCode）上的SWE-Bench Verified準確率差異保持在4%以內。
• 世界知識與反幻覺：模型在不確定時明確標記缺少證據。內部評估顯示，幻覺率從12.5%降至5.4%，常識性錯誤率從25.4%降至12.7%。
• 多輪意圖追蹤：聯合監督微調與強化學習改進了指代和約束跟蹤。內部問題率從17.4%降至7.9%，在MRCR長對話基準上得分從42.9%提升至75.1%。

如何使用Hy3

Hy3提供相容OpenAI的API。使用者可透過vLLM或SGLang部署後呼叫端點。關鍵的reasoning_effort引數控制模型的思考深度：

• no_think：直接回答
• low：輕度思考
• high：深度鏈式思考（適用於數學、編碼等多步驟任務）

推薦引數為temperature=0.9和top_p=1.0。無需本地硬體即可在OpenRouter上體驗免費版（tencent/hy3:free），該免費通道持續至2026年7月21日。

應用場景

Hy3專為代理風格的長上下文任務設計，典型用例包括：

• 編碼代理：將完整程式碼倉庫放入256K視窗，使用高推理努力修復失敗測試。穩定的工具呼叫支援跨檔案編輯。
• 文件處理：處理長合同或檔案，反幻覺訓練減少虛構條款和錯誤引用。
• 金融分析：合併表格與文本，生成基於事實的摘要，缺失資料時明確標記。
• 前端與遊戲開發：生成React元件或小型遊戲迴圈。盲測顯示其在前端任務上優於GLM-5.1。

Hy3 vs GLM-5.2

騰訊團隊將Hy3與GLM-5.2進行了對比。GLM-5.2約為744B MoE，啟用引數約40B。Hy3的總規模不到其一半，啟用引數僅21B。在編碼基準上，GLM-5.2全面領先，但Hy3以更小的活躍引數換取了更低的部署成本。

| 基準 | Hy3 (21B啟用) | GLM-5.2 (~40B啟用) | |------|---------------|--------------------| | SWE-Bench Verified | 78.0 | 84.2 | | SWE-Bench Multilingual | 75.8 | 83.0 | | Terminal-Bench 2.1 | 71.7 | 81.0 | | DeepSWE | 28.0 | 46.2 | | 總引數/啟用引數 | 295B / 21B | ~744B / ~40B | | 許可 | Apache 2.0 | 開放權重 |

部署注意事項

Hy3總引數達295B，推薦使用8塊GPU（如H20-3e或更大視訊記憶體）進行部署。vLLM和SGLang均提供啟用MTP的配置。最低啟動命令如下：

vllm serve tencent/Hy3 \
--tensor-parallel-size 8 \
--speculative-config.method mtp \
--speculative-config.num_speculative_tokens 2 \
--tool-call-parser hy_v3 \
--reasoning-parser hy_v3 \
--enable-auto-tool-choice \
--port 8000 \
--served-model-name hy3

團隊還提供了AngelSlim工具包，支援量化、低位元方法和推測取樣。完整的微調流程也已開放。

Hy3現已可透過Hugging Face和GitHub獲取，更多技術細節請參考官方文件。