Transformerベースの大規模言語モデルは、アテンション機構が系列長に対して二次の時間・空間複雑度を持つという制約に直面している。このスケーラビリティの問題を解決するため、多くのサブクォドラティック（二次未満）アーキテクチャが提案されてきたが、多くは複雑な入力変調や状態維持を必要とする。
Benjamin L. BadgerとEthan Rolandは、2026年4月に発表した論文で、Toeplitz MLP Mixer（TMM）という新しいアーキテクチャを導入した。TMMは、アテンションの代わりに三角マスクを適用したToeplitz行列乗算を系列次元で行う。Toeplitz行列は対角線上の要素が一定であるため、高速フーリエ変換（FFT）を用いて効率的に計算でき、複雑度を大幅に削減できる。具体的には、学習時の時間複雑度はO(dn log n)、空間複雑度はO(dn)となり、推論プレフィル時も同様のO(dn)を達成する。これにより、長い系列を扱う際の計算負荷が大幅に軽減される。
注目すべきは、TMMが他のサブクォドラティックアーキテクチャのような洗練された機構を持たないにもかかわらず、計算量やメモリ使用量あたりの損失においてより高い学習効率を示す点である。著者らは、TMMはアーキテクチャ上のバイアスが少ないため、より多くの入力情報を保持できると主張している。実際、TMMはコピー能力の向上を示し、これは情報保持率の高さと一致する。さらに、情報検索や文脈内学習のベンチマークにおいて、TMMは同等のアーキテクチャを上回る精度を達成した。
論文の後半では、作用素指数理論の観点からの分析が行われ、直感に反する発見が報告されている。因果的な非可逆モデルにおいて訓練されたToeplitz層は、実際に入力に対して可逆なモデルよりも、可逆またはそれに近い状態になる可能性が高いことが示された。この理論的洞察は、TMMの優れた性能の背後にあるメカニズムを説明するものである。TMMは、複雑度と情報保持のバランスにおいて有望なアプローチを提供し、今後の系列モデリングの方向性を示す重要な研究成果といえる。