シーケンス知識 #850：RNNの予期せぬカムバック

💡 AIコンセプト・オブ・ザ・デイ：RNNの予期せぬカムバック

2015年頃に系列モデルを構築していたなら、あなたの世界観は完全にリカレントニューラルネットワーク（RNN）によって形作られていたでしょう。それらには深いアーキテクチャの優雅さがありました。ネットワークにトークンを入力すると、固定サイズの隠れ状態を更新し、トークンを破棄します。推論中、メモリ使用量は美しく一定で、ほぼすべてのハードウェアで効率的に動作するO(1)の操作でした。

そして2017年がやってきました。「Attention Is All You Need」が発表され、AIエコシステム全体が方向転換しました。私たちはRNNの優雅さを、Transformerのブルートフォースな並列化可能性と交換しました。Transformerがハードウェアの宝くじに当たったのは、系列全体をGPUグリッドにマッピングして一度に訓練できるからです。しかし、私たちは悪魔の契約を結びました：キー・バリュー（KV）キャッシュです。

Transformerでは、次のトークンを生成するために、モデルは以前のすべてのトークンの高次元表現をメモリに明示的に保持しなければなりません。これはO(N²)の操作です。モデルを10万、100万、そして現在では数百万トークンのコンテキストウィンドウに押し上げるにつれて、計算グラフは数学的に不快になります。私たちは単にメモリ読み取りを行っているだけで、大量の高帯域幅メモリを燃やしているのです。

これが、arXivの火の粉を注意深く見ていると、大きな雰囲気の変化に気づく理由です。私たちはRNNのカムバックを目の当たりにしています。しかし、これは2010年代の古典的なLong Short-Term Memory（LSTM）ネットワークへのノスタルジックな回帰ではありません。新しい世代のRNNは、より大きな状態、データ依存のゲーティング、LLM時代のトレーニングレシピを特徴としています。それらはスケールでTransformerのパープレキシティに匹敵しますが、甘美なO(1)の推論コストを維持しています。

以下は、リカレント・ルネッサンスを推進するアーキテクチャの一部です。

続きを読む