跳到主要内容
AI News HubLIVE
更多
仅摘要

美团发布LongCat-2.0:1.6万亿参数开源MoE模型,原生支持百万上下文和LongCat稀疏注意力

美团发布了LongCat-2.0,这是一个1.6万亿参数的混合专家模型,每个token激活约480亿参数。它原生支持100万token上下文窗口,基于LongCat稀疏注意力,训练和推理完全运行在国内AI ASIC超级集群上。本文介绍其架构、基准测试、API访问路径及尚未验证的部分。

来源MarkTechPost作者: Asif Razzaq
美团发布LongCat-2.0:1.6万亿参数开源MoE模型,原生支持百万上下文和LongCat稀疏注意力
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明

本文仅提供摘要

根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。

展开要点与分析

文章情报

工程师进阶

要点

  • LongCat-2.0拥有1.6万亿总参数,动态激活330亿至560亿参数。
  • 支持原生100万token上下文,采用LongCat稀疏注意力将复杂度从二次降至线性。
  • 训练和推理在50000张国产AI ASIC集群上完成,未使用英伟达硬件。
  • 供应商报告成绩:SWE-bench Pro 59.5,Terminal-Bench 2.1 70.8,SWE-bench Multilingual 77.3。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。