跳到主要內容
AI News HubLIVE
僅摘要

美團釋出LongCat-2.0:1.6萬億引數開源MoE模型,原生支援百萬上下文和LongCat稀疏注意力

美團釋出了LongCat-2.0,這是一個1.6萬億引數的混合專家模型,每個token啟用約480億引數。它原生支援100萬token上下文視窗,基於LongCat稀疏注意力,訓練和推理完全執行在國內AI ASIC超級叢集上。本文介紹其架構、基準測試、API訪問路徑及尚未驗證的部分。

來源MarkTechPost作者: Asif Razzaq
美團釋出LongCat-2.0:1.6萬億引數開源MoE模型,原生支援百萬上下文和LongCat稀疏注意力
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明

本文僅提供摘要

根據來源內容權限,本站僅提供編輯摘要、要點和原文連結。

展開要點與分析

文章情報

工程師進階

要點

  • LongCat-2.0擁有1.6萬億總引數,動態啟用330億至560億引數。
  • 支援原生100萬token上下文,採用LongCat稀疏注意力將複雜度從二次降至線性。
  • 訓練和推理在50000張國產AI ASIC叢集上完成,未使用輝達硬體。
  • 供應商報告成績:SWE-bench Pro 59.5,Terminal-Bench 2.1 70.8,SWE-bench Multilingual 77.3。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。