SubQ：專為1200萬token推理設計的次二次方LLM
Subquadratic公司釋出了SubQ，這是首個基於完全次二次方稀疏注意力架構的LLM，支援1200萬token的上下文視窗，速度達150 token/s，成本僅為其他領先LLM的1/5。該模型在長上下文檢索和編碼任務上表現出色，已在SWE-Bench、RULER和MRCR等基準測試中取得領先成績。
SubQ：專為1200萬token推理設計的次二次方LLM
本文僅提供摘要
根據來源內容權限，本站僅提供編輯摘要、要點和原文連結。
Subquadratic公司釋出了SubQ，這是首個基於完全次二次方稀疏注意力架構的LLM，支援1200萬token的上下文視窗，速度達150 token/s，成本僅為其他領先LLM的1/5。該模型在長上下文檢索和編碼任務上表現出色，已在SWE-Bench、RULER和MRCR等基準測試中取得領先成績。
根據來源內容權限，本站僅提供編輯摘要、要點和原文連結。