跳到主要內容
AI News HubLIVE
更多
僅摘要

JetBrains 發佈 Mellum2:面向多模型 AI 流水線的 12B MoE 快速專用模型

JetBrains 開源了 Mellum2,一個 12B 參數的混合專家(MoE)模型,活躍參數僅 2.5B,訓練於 10.6 萬億 token,專為軟件工程任務設計。它作為多模型 AI 系統中的快速專用組件,適用於路由、RAG 流水線、子代理和本地部署等場景。

來源MarkTechPost作者: Asif Razzaq
JetBrains 發佈 Mellum2:面向多模型 AI 流水線的 12B MoE 快速專用模型
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明

本文僅提供摘要

根據來源內容權限,本站僅提供編輯摘要、要點和原文連結。

展開要點與分析

文章情報

工程師進階

要點

  • Mellum2 採用 MoE 架構,總參數量 12B,每個 token 僅激活 2.5B 參數,計算效率高。
  • 支持 131K token 上下文窗口,配備多 token 預測頭,無需單獨草稿模型即可實現推測解碼。
  • 在代碼生成、工具調用等基準測試中表現良好,但在前沿任務上不如大型模型。
  • 完全開源(Apache 2.0 許可),可通過 vLLM 快速部署。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。