序列知识 #858：状态空间模型如何从新奇之物蜕变为Transformer的强劲对手

在机器学习研究中，有一种现象：某条技术路线默默无闻地进步多年，然后某天突然崛起，与主流范式并驾齐驱。状态空间模型（State Space Models, SSM）正处在这一高光时刻。

过去八年里，Transformer是唯一真正重要的架构。自注意力机制、键值缓存、下一个词预测——这些几乎成了我们思考的全部。原因很简单：它有效。但Transformer有一个众所周知却尚未完全解决的问题：自注意力的复杂度是序列长度的O(n²)。当上下文窗口需要超过百万个token，或者在70B模型上推理时KV缓存独占了40GB显存，二次方缩放就不再是理论概念，而是实际的工程瓶颈。

状态空间模型提供了完全不同的方案：线性时间复杂度、推理时恒定内存、无需KV缓存。过去三年，人们一直追问：它能否在语言建模困惑度、上下文学习、推理等关键任务上匹敌Transformer？截至2026年3月，答案日益清晰：可以。

以下是SSM的发展历程。

数学基础

状态空间模型源自控制理论中的状态空间表示，通过隐藏状态动态更新来处理序列。与传统递归神经网络不同，SSM通过结构化参数化实现了高效的并行训练和推理。其核心思想是将序列建模视为线性动态系统，从而将复杂度从O(n²)降至O(n)。

关键突破

早期的SSM在长程依赖任务上表现不佳，但近年来引入的HiPPO初始化、卷积加速和选择机制（如Mamba模型）彻底改变了局面。Mamba通过选择性状态空间（Selective State Space）让模型根据输入动态调整状态更新，显著提升了语言建模性能。

实际表现

截至2026年初，Mamba及其变体在多项基准测试中与同规模Transformer持平甚至更优。更重要的是，SSM在推理效率上具有明显优势：对于长序列，其延迟和内存占用远低于Transformer。这使得SSM在长上下文应用（如文档理解、代码生成）中极具吸引力。

挑战与未来

SSM并非没有短板。它在需要大量上下文交互的任务（如复杂推理）上仍弱于Transformer。此外，硬件利用率优化和社区生态建设也在进行中。但不可否认，状态空间模型已从一个学术好奇心成长为Transformer的有力竞争者，未来有望在更多场景中发挥作用。