シーケンス知識 #850：RNNの予期せぬカムバック
Transformerは系列モデリングを支配しているが、長いコンテキストではO(N²)のKVキャッシュコストが問題となる。新しいRNNは、より大きな状態、データ依存のゲーティング、LLM時代のトレーニングレシピを採用し、O(1)の推論コストでTransformerのパープレキシティに匹敵する。
シーケンス知識 #850：RNNの予期せぬカムバック
要約のみ
配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。
Transformerは系列モデリングを支配しているが、長いコンテキストではO(N²)のKVキャッシュコストが問題となる。新しいRNNは、より大きな状態、データ依存のゲーティング、LLM時代のトレーニングレシピを採用し、O(1)の推論コストでTransformerのパープレキシティに匹敵する。
配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。