本論文「The Context-Ready Transformer」は、Mahesh Godavarti氏によって2026年6月25日にarXivに投稿され、NeurIPSに採択された研究である。提案するアーキテクチャは、D層のトランスフォーマーブロックの前に各トークンを事前にコンテキスト化する修正ネットワークを組み込んだ、新しいリカレントニューラルネットワーク（RNN）である。
従来のトランスフォーマーでは、トークンは生の埋め込みとしてブロックに入力され、文脈情報は自己注意機構によって内部で処理される。これに対し、コンテキスト対応トランスフォーマーでは、左から右への生成時に、修正ネットワークが前位置のブロック出力（過去のコンテキストのキャッシュされた要約）と現在のトークン埋め込みを組み合わせる。これにより、トークンはすでにコンテキスト化された状態でブロックに入る。逐次推論時には、この修正チェーンがアーキテクチャ全体をリカレントニューラルネットワークへと変える。
訓練時には、修正プロセスをシーケンス全体にわたってK回展開し、各ステップで全位置を並列に処理する。これにより、RNNの逐次性を回避しつつ、効率的な学習が可能となる。また、事前学習済みのトランスフォーマーにゼロ初期化された修正フィードフォワードネットワーク（FFN）を追加し、ファインチューニングすることで、コンテキスト対応モデルに変換できる。
評価は、幅、深さ、ブロックサイズ、および2つのデータセットにわたって行われ、標準トランスフォーマー、その変種、アブレーションとの比較がなされた。特筆すべき結果として、D=5モデルは12層トランスフォーマーを性能で上回り、A100 GPU上での生成速度は1.7倍高速である。さらに、K=10の場合、単一層モデル（D=1）が6層トランスフォーマーを上回り、推論速度は2.6倍に達する。逐次推論は並列K=10と0.01 PPL以内で一致する。
このアーキテクチャは、広い表現と長いコンテキストから最も大きな利益を得る。ポインタチェイシングタスクでは、BPTTで訓練されたD=1モデルが10段階の合成レベルすべてを解決する一方、標準トランスフォーマーは階段状の深さ依存性を示す。これは、コンテキスト対応トランスフォーマーが本質的にリカレントな構造を持つため、深さに依存せずに合成を扱えることを示唆している。
本研究は、トランスフォーマーの並列性を維持しつつ、リカレントな逐次推論を可能にする新しい方向性を提示しており、今後の効率的な言語モデル設計に影響を与える可能性がある。