注意力机制之后是什么？这家初创公司表示它已经知道了。

Subquadratic公司推出了稀疏注意力模型SubQ 1.1，能处理1200万token的上下文，效率远超传统Transformer。尽管初期因缺乏基准测试受到质疑，但现已发布模型卡和第三方验证，并开始与设计合作伙伴合作。公司还计划开发无注意力架构，追求计算、样本和内存效率三方面的突破。