Transformer架構在大型語言模型中佔據主導地位，但其注意力機制的二次時間與空間複雜度（相對於序列長度）嚴重限制了模型的擴展能力。隨着序列長度的增加，計算和內存需求呈平方級增長，這成為處理長文本或高分辨率數據的主要瓶頸。為了突破這一限制，研究人員提出了多種亞二次複雜度架構，但大多數都引入了複雜的輸入調製或狀態維護機制。
在這篇發表於2026年4月的論文中，Benjamin L. Badger和Ethan Roland提出了Toeplitz MLP混合器（TMM），一種新穎的Transformer替代方案。TMM的核心創新在於用三角掩蔽的Toeplitz矩陣乘法取代了標準的注意力機制。Toeplitz矩陣具有特殊的結構，其每條對角線上的元素相同，這使得矩陣乘法可以通過快速傅里葉變換（FFT）高效實現，從而將複雜度從二次降低到近線性。具體而言，TMM在訓練時的時間複雜度為O(dn log n)，空間複雜度為O(dn)，其中d是隱藏維度，n是序列長度。在推理預填充階段，其時間和空間複雜度均為O(dn)。這種高效的複雜度使得TMM在處理長序列時具有顯著優勢。
令人驚訝的是，儘管TMM缺乏其他亞二次架構中的複雜輸入調製或狀態維護，但它在訓練效率上表現更優——在相同的計算量和內存消耗下，TMM能夠實現更低的損失。作者認為，這是因為TMM沒有引入多餘的架構偏差，從而得以保留更多的輸入信息。實驗表明，TMM在複製任務上表現顯著提升，這直接歸因於其更高的信息保留能力。此外，在信息檢索和上下文學習基準測試中，TMM的準確率也優於其他可比較的架構。這些結果一致表明，TMM是一種信息豐富且高效的序列模型。
最後，作者從算子指數理論的角度進行了深入分析，並得出一個反直覺的結論：在因果（causal）非可逆模型中，訓練後的Toeplitz層反而比那些實際可逆模型中的層更可能是可逆的或近乎可逆的。這一理論發現為理解TMM的優越性能提供了全新的視角。總之，TMM為開發低複雜度、高信息保持力的序列模型開闢了新的途徑，有望成為下一代高效Transformer的有力候選者。