Transformer架构在大型语言模型中占据主导地位，但其注意力机制的二次时间与空间复杂度（相对于序列长度）严重限制了模型的扩展能力。随着序列长度的增加，计算和内存需求呈平方级增长，这成为处理长文本或高分辨率数据的主要瓶颈。为了突破这一限制，研究人员提出了多种亚二次复杂度架构，但大多数都引入了复杂的输入调制或状态维护机制。
在这篇发表于2026年4月的论文中，Benjamin L. Badger和Ethan Roland提出了Toeplitz MLP混合器（TMM），一种新颖的Transformer替代方案。TMM的核心创新在于用三角掩蔽的Toeplitz矩阵乘法取代了标准的注意力机制。Toeplitz矩阵具有特殊的结构，其每条对角线上的元素相同，这使得矩阵乘法可以通过快速傅里叶变换（FFT）高效实现，从而将复杂度从二次降低到近线性。具体而言，TMM在训练时的时间复杂度为O(dn log n)，空间复杂度为O(dn)，其中d是隐藏维度，n是序列长度。在推理预填充阶段，其时间和空间复杂度均为O(dn)。这种高效的复杂度使得TMM在处理长序列时具有显著优势。
令人惊讶的是，尽管TMM缺乏其他亚二次架构中的复杂输入调制或状态维护，但它在训练效率上表现更优——在相同的计算量和内存消耗下，TMM能够实现更低的损失。作者认为，这是因为TMM没有引入多余的架构偏差，从而得以保留更多的输入信息。实验表明，TMM在复制任务上表现显著提升，这直接归因于其更高的信息保留能力。此外，在信息检索和上下文学习基准测试中，TMM的准确率也优于其他可比较的架构。这些结果一致表明，TMM是一种信息丰富且高效的序列模型。
最后，作者从算子指数理论的角度进行了深入分析，并得出一个反直觉的结论：在因果（causal）非可逆模型中，训练后的Toeplitz层反而比那些实际可逆模型中的层更可能是可逆的或近乎可逆的。这一理论发现为理解TMM的优越性能提供了全新的视角。总之，TMM为开发低复杂度、高信息保持力的序列模型开辟了新的途径，有望成为下一代高效Transformer的有力候选者。