序列知识 #850：RNN 的意外回归
Transformer 虽主导序列建模，但其 O(N²) 的键值缓存导致长上下文推理成本高昂。新型 RNN 通过更大状态、数据依赖门控和 LLM 训练技术，以 O(1) 推理成本匹配 Transformer 的困惑度，正迎来复兴。
💡 AI 概念每日一题：RNN 的意外回归
如果你在 2015 年左右构建序列模型，你的世界观完全由循环神经网络（RNN）塑造。它们具有一种深层次的架构优雅：你向网络输入一个词元，它更新一个固定大小的隐藏状态，然后丢弃这个词元。在推理过程中，内存占用是恒定的——这是一个 O(1) 的操作，几乎可以在任何硬件上高效运行。
然后 2017 年到来了。《注意力就是一切》这篇论文发表，整个 AI 领域发生了转向。我们用 Transformer 的蛮力并行化换取了 RNN 的优雅。Transformer 在硬件上胜出，因为它允许我们将整个序列映射到 GPU 网格上并一次性训练。但我们做了一笔魔鬼交易：键值（KV）缓存。
在 Transformer 中，模型必须显式地将每个先前词元的高维表示保存在内存中才能生成下一个词元。这是一个 O(N²) 的操作。随着我们将模型推向 10 万、100 万甚至数百万词元的上下文窗口，计算图变得数学上令人厌恶。我们只是在进行内存读取，却燃烧着大量的高带宽内存。
这就是为什么，如果你密切关注 arXiv 上的最新动态，你会发现一种巨大的氛围转变。我们正在见证 RNN 的回归。但这并不是对 2010 年代经典长短期记忆（LSTM）网络的怀旧回归。新一代的 RNN 具有更大的状态、数据依赖的门控和 LLM 时代的训练方法。它们在规模上匹配 Transformer 的困惑度，但保持了那甜美的 O(1) 推理成本。
以下是推动循环复兴的一些架构。
深入阅读