状態空間モデル(SSM)は、Transformerの有力な代替手段として注目を集めている。一定のメモリと線形の計算量で系列モデリングを可能にする点が主な利点だ。しかし、SSMは計算効率に優れる一方で、文脈内学習(in-context learning)や正確な検索を必要とするタスクではTransformerに後れを取っており、大規模言語モデリングへの普及を妨げている。この現象について、Appleとハーバード大学などの研究者らによる新しい論文が、ゲーティング機構(gating mechanism)の役割を調べることで、SSMの成功と失敗の両方を説明できると示した。
ゲーティング機構は現代のリカレントネットワークに広く見られる構成要素である。研究チームは理論と実験を通じて、このゲーティング機構がSSMにまず重みに基づく「記憶」(memorization)の解を学習させ、正しい文脈内学習の解への収束を遅らせ、あるいは妨げることさえあると明らかにした。重要なのは、アーキテクチャやメモリ容量に根本的な制限がない場合でもこれが起こるという点だ。つまり、問題はモデル能力の限界ではなく、ゲーティング機構が訓練のダイナミクスを誤った方向に導くことにある。
一方で、ゲーティングは長い系列長への汎化を改善するのにしばしば有益であることも分かった。これはゲーティングが諸刃の剣であることを意味する。長い系列の処理を助ける一方で、モデルが文脈から動的に情報を引き出すのではなく、パラメータに蓄えられた記憶に過度に依存するようになる可能性がある。このトレードオフが、SSMがある種のタスクでは良好に機能し、別のタスクではTransformerに及ばない理由を説明する。
論文の著者はWilliam L. Tong、Aryo Lotfi、Emmanuel Abbe、Kostas Vaggelakos、Vishnu Banna、Etai Littwin、Josh Susskind、Cengiz Pehlevan、Eran Malachの各氏で、一部はハーバード大学に所属し、一部の研究はApple在籍中に行われた。本研究は理論と実験を組み合わせ、SSMの訓練ダイナミクスと汎化を形作る上でのゲーティング機構の重要な役割を明らかにし、線形時間モデルの理解と改善の基盤を提供することを目的としている。
この研究の意義は、SSMの性能不足を単にアーキテクチャの制約に帰するのではなく、訓練プロセスにおける帰納バイアスの影響を強調する点にある。ゲーティング機構が記憶優先の学習行動を誘導する仕組みを特定することで、将来的により効果的な線形時間モデルを設計する方向性を示している。ゲーティングの設計や訓練戦略を調整することで、モデルがより良い文脈内学習を行うよう導き、Transformerとの差を縮められる可能性がある。本論文は2026年11月に発表され、方法論とアルゴリズム分野の研究成果である。