美團釋出LongCat-2.0:1.6萬億引數開源MoE模型,原生支援百萬上下文和LongCat稀疏注意力
美團釋出了LongCat-2.0,這是一個1.6萬億引數的混合專家模型,每個token啟用約480億引數。它原生支援100萬token上下文視窗,基於LongCat稀疏注意力,訓練和推理完全執行在國內AI ASIC超級叢集上。本文介紹其架構、基準測試、API訪問路徑及尚未驗證的部分。
美團釋出LongCat-2.0:1.6萬億引數開源MoE模型,原生支援百萬上下文和LongCat稀疏注意力
本文僅提供摘要
根據來源內容權限,本站僅提供編輯摘要、要點和原文連結。