アテンションの次は何か？このスタートアップはすでに知っていると語る。

Subquadratic社は、スパースアテンションモデルSubQ 1.1を発表し、1200万トークンのコンテキストウィンドウを処理可能で、従来のTransformerより格段に効率的であると主張。当初はベンチマーク不足で懐疑的だったが、モデルカードの公開や第三者検証により信頼性を高め、企業パートナーとの協業を開始。将来的にはアテンション機構を完全に排除したアーキテクチャも目指している。