言語モデルは読んでいるテキストに対して勾配ステップを実行することで学習できるのだろうか？動的評価として知られるこの手法は、文書の残りの部分での損失を低下させることが示されている。しかし、そのハイブリッド線形注意アーキテクチャ、拡散言語モデル、および標準的な長文脈ベンチマークでの挙動はこれまで測定されていなかった。著者のSurya Sakaは論文でこの空白を埋めている。
実験設定は次の通り：128トークンのチャンクごとに1回のSGDステップを、最後の4分の1のブロックのMLP出力投影に適用し、追加訓練なし、2kトークンのウィンドウを使用する。Softmax注意モデル（Qwen3-1.7B、Qwen3-4B、Gemma-4-E4B）では、動的評価により文書全体での次トークン損失が5-8%低下し、同じ凍結モデルに完全な32kトークンのコンテキストを与えた場合よりも優れた性能を示す。対照的に、ハイブリッドGated-DeltaNetモデル（Qwen3.5-4B、Qwen3.8-27B）はどの学習率でも1%未満のゲインしか得られず、線形注意ブロックが既にこの適応を実行していることを示している。
このメカニズムはマスク付き拡散モデルにも転送され、より大きな効果が得られる：Nemotron-Diffusion-8Bで8%、DiffusionGemma-26Bで17-20%の損失低下が、学習率を下げて更新をクリップした場合に観測される。
さらに、RULER、BABILong、LongBench-v2、SCOTUS、HotpotQA、MuSiQue、ContractNLI、引用補完などのベンチマークで、2つのモデルサイズと100項目以上を用いてテストした。その結果、完全な文書で更新された重みは、コンテキスト切り捨てによって失われた精度をまったく回復しないことがわかった。これは、動的評価による適応が検索ではなくスタイルと語彙に限定されていることを示す。
また、次トークン損失を用いて事実を書き込むと、モデルは事実ではなくプロンプト形式を保存することが明らかになった（チャットプロンプトでの想起率は30%に対し、コンテキスト内では80%）。そして、どの用量でもGSM8Kスコアを36-38ポイント低下させる。一方、結論を行動として書き込む——モデル自身の結論条件付き判断を低ランクアダプタに蒸留する——と、コンテキスト内の性能上限に達する（100ゲームで0.83と0.88、コンテキスト内の0.84と0.88に対して）。しかもGSM8Kは変化しない。この結論は、情報利得の質問を投げかけることで結論を見つける inquiry ループから得ることができる。