語言模型在閲讀文本時能否通過梯度步驟進行學習？這種現象被稱為動態評估，已被證明可以降低模型在文檔剩餘部分的損失。然而，此前尚未有研究系統測量其在混合線性注意力架構、擴散語言模型以及標準長上下文基準上的行為。作者Surya Saka在論文中填補了這一空白。
實驗設置如下：每128個token的塊執行一次SGD步驟，僅更新最後四分之一塊的MLP輸出投影，不進行額外訓練，並使用2k token的窗口。對於softmax注意力模型（Qwen3-1.7B、Qwen3-4B、Gemma-4-E4B），動態評估使文檔上的下一詞損失降低5-8%，並且優於同一凍結模型使用完整32k token上下文的表現。相比之下，混合Gated-DeltaNet模型（Qwen3.5-4B、Qwen3.8-27B）在任何學習率下增益均不足1%，表明線性注意力塊本身已經執行了這種自適應。
該機制同樣適用於掩碼擴散模型，且效果更顯著：Nemotron-Diffusion-8B上損失降低8%，DiffusionGemma-26B上降低17-20%，但需要降低學習率並對更新進行裁剪。
研究進一步在RULER、BABILong、LongBench-v2、SCOTUS、HotpotQA、MuSiQue、ContractNLI和引文補全等基準上測試，使用兩個模型尺寸和至少100個項目。結果顯示，在完整文檔上更新的權重無法恢復因上下文截斷而損失的準確率。這表明動態評估帶來的適應主要是風格和詞彙層面的，而非檢索能力。
此外，研究發現使用下一詞損失寫入事實時，模型存儲的是提示格式而非事實本身：在聊天提示下召回率僅30%，而上下文內召回率為80%，並且無論劑量如何都會導致GSM8K分數下降36-38點。相反，將結論作為行為寫入——通過將模型自身以結論為條件的判斷蒸餾到低秩適配器中——可以達到上下文內的性能上限（在100個遊戲上為0.83和0.88，對比上下文內的0.84和0.88），同時GSM8K保持不變。該結論可以來自一個通過提出信息增益問題來尋找結論的詢問循環。