注意力機制之後是什麼？這家初創公司表示它已經知道了。

Subquadratic公司推出了稀疏注意力模型SubQ 1.1，能處理1200萬token的上下文，效率遠超傳統Transformer。儘管初期因缺乏基準測試受到質疑，但現已釋出模型卡和第三方驗證，並開始與設計合作伙伴合作。公司還計劃開發無注意力架構，追求計算、樣本和記憶體效率三方面的突破。