Transformer架構在大型語言模型中佔據主導地位，但其注意力機制的二次時間與空間複雜度（相對於序列長度）嚴重限制了模型的擴充套件能力。隨著序列長度的增加，計算和記憶體需求呈平方級增長，這成為處理長文本或高解析度資料的主要瓶頸。為了突破這一限制，研究人員提出了多種亞二次複雜度架構，但大多數都引入了複雜的輸入調變或狀態維護機制。
在這篇發表於2026年4月的論文中，Benjamin L. Badger和Ethan Roland提出了Toeplitz MLP混合器（TMM），一種新穎的Transformer替代方案。TMM的核心創新在於用三角掩蔽的Toeplitz矩陣乘法取代了標準的注意力機制。Toeplitz矩陣具有特殊的結構，其每條對角線上的元素相同，這使得矩陣乘法可以透過快速傅立葉變換（FFT）高效實現，從而將複雜度從二次降低到近線性。具體而言，TMM在訓練時的時間複雜度為O(dn log n)，空間複雜度為O(dn)，其中d是隱藏維度，n是序列長度。在推理預填充階段，其時間和空間複雜度均為O(dn)。這種高效的複雜度使得TMM在處理長序列時具有顯著優勢。
令人驚訝的是，儘管TMM缺乏其他亞二次架構中的複雜輸入調變或狀態維護，但它在訓練效率上表現更優——在相同的計算量和記憶體消耗下，TMM能夠實現更低的損失。作者認為，這是因為TMM沒有引入多餘的架構偏差，從而得以保留更多的輸入資訊。實驗表明，TMM在複製任務上表現顯著提升，這直接歸因於其更高的資訊保留能力。此外，在資訊檢索和上下文學習基準測試中，TMM的準確率也優於其他可比較的架構。這些結果一致表明，TMM是一種資訊豐富且高效的序列模型。
最後，作者從運算元指數理論的角度進行了深入分析，並得出一個反直覺的結論：在因果（causal）非可逆模型中，訓練後的Toeplitz層反而比那些實際可逆模型中的層更可能是可逆的或近乎可逆的。這一理論發現為理解TMM的優越效能提供了全新的視角。總之，TMM為開發低複雜度、高資訊保持力的序列模型開闢了新的途徑，有望成為下一代高效Transformer的有力候選者。