美团发布LongCat-2.0:1.6万亿参数开源MoE模型,原生支持百万上下文和LongCat稀疏注意力
美团发布了LongCat-2.0,这是一个1.6万亿参数的混合专家模型,每个token激活约480亿参数。它原生支持100万token上下文窗口,基于LongCat稀疏注意力,训练和推理完全运行在国内AI ASIC超级集群上。本文介绍其架构、基准测试、API访问路径及尚未验证的部分。
美团发布LongCat-2.0:1.6万亿参数开源MoE模型,原生支持百万上下文和LongCat稀疏注意力
本文仅提供摘要
根据来源内容权限,本站仅提供编辑摘要、要点和原文链接。