シーケンス知識 #858：状態空間モデルはどのようにして好奇心から真剣なTransformerの競合へと変わったか

機械学習研究では、ある技術系統が長年にわたって静かに進歩し、ある日突然、主流のパラダイムと競合するようになる現象があります。状態空間モデル（State Space Models、SSM）はまさにその瞬間を迎えています。

過去8年間、Transformerが唯一重要なアーキテクチャでした。自己注意機構、キー・バリューキャッシュ、次のトークン予測—これらが私たちの考えるすべてでした。そしてそれには理由があります：それが機能するからです。しかし、Transformerには誰もが知っているものの完全には解決されていない問題があります。自己注意機構はシーケンス長に対してO(n²)の計算量を持ちます。コンテキストウィンドウを100万トークン以上に拡張しようとするとき、あるいは70Bモデルで推論を実行してKVキャッシュだけで40GBのVRAMを消費するとき、二次スケーリングは理論上の注意事項ではなく、実際のエンジニアリング上のボトルネックになります。

状態空間モデルは根本的に異なる契約を提供します：線形時間計算量、推論時の一定メモリ、KVキャッシュ不要。過去3年間の問いは、これがTransformerに言語モデリングのパープレキシティ、コンテキスト内学習、推論といった重要なタスクで匹敵できるかどうかでした。2026年3月現在、答えは「ますます、はい」です。

ここに至るまでの道のりを説明しましょう。

数学的基礎

状態空間モデルは制御理論の状態空間表現に由来し、隠れ状態の動的更新を通じて系列を処理します。従来のリカレントニューラルネットワークとは異なり、SSMは構造化されたパラメータ化により効率的な並列トレーニングと推論を実現します。その核心は、系列モデリングを線形動的システムとして扱うことで、計算量をO(n²)からO(n)に削減することです。

重要なブレイクスルー

初期のSSMは長距離依存タスクで苦戦しましたが、近年導入されたHiPPO初期化、畳み込み高速化、選択的メカニズム（Mambaモデルなど）が状況を一変させました。Mambaは選択的状態空間（Selective State Space）により、モデルが入力に応じて状態更新を動的に調整し、言語モデリングの性能を大幅に向上させました。

実際の性能

2026年初頭現在、Mambaとその変種は複数のベンチマークで同規模のTransformerと同等またはそれ以上のスコアを達成しています。さらに重要なのは、推論効率における明確な優位性です：長い系列では、遅延とメモリ使用量がTransformerを大幅に下回ります。これにより、SSMは長文コンテキストアプリケーション（ドキュメント理解、コード生成など）で非常に魅力的です。

課題と将来

SSMには欠点もありません。複雑な推論など多くのコンテキスト相互作用を必要とするタスクでは、Transformerに劣ります。また、ハードウェア利用の最適化やコミュニティエコシステムの構築も進行中です。しかしながら、状態空間モデルは学術的な好奇心からTransformerの有力な競合へと成長し、今後さらに多くのシナリオで活躍することが期待されます。