语言模型在阅读文本时能否通过梯度步骤进行学习？这种现象被称为动态评估，已被证明可以降低模型在文档剩余部分的损失。然而，此前尚未有研究系统测量其在混合线性注意力架构、扩散语言模型以及标准长上下文基准上的行为。作者Surya Saka在论文中填补了这一空白。
实验设置如下：每128个token的块执行一次SGD步骤，仅更新最后四分之一块的MLP输出投影，不进行额外训练，并使用2k token的窗口。对于softmax注意力模型（Qwen3-1.7B、Qwen3-4B、Gemma-4-E4B），动态评估使文档上的下一词损失降低5-8%，并且优于同一冻结模型使用完整32k token上下文的表现。相比之下，混合Gated-DeltaNet模型（Qwen3.5-4B、Qwen3.8-27B）在任何学习率下增益均不足1%，表明线性注意力块本身已经执行了这种自适应。
该机制同样适用于掩码扩散模型，且效果更显著：Nemotron-Diffusion-8B上损失降低8%，DiffusionGemma-26B上降低17-20%，但需要降低学习率并对更新进行裁剪。
研究进一步在RULER、BABILong、LongBench-v2、SCOTUS、HotpotQA、MuSiQue、ContractNLI和引文补全等基准上测试，使用两个模型尺寸和至少100个项目。结果显示，在完整文档上更新的权重无法恢复因上下文截断而损失的准确率。这表明动态评估带来的适应主要是风格和词汇层面的，而非检索能力。
此外，研究发现使用下一词损失写入事实时，模型存储的是提示格式而非事实本身：在聊天提示下召回率仅30%，而上下文内召回率为80%，并且无论剂量如何都会导致GSM8K分数下降36-38点。相反，将结论作为行为写入——通过将模型自身以结论为条件的判断蒸馏到低秩适配器中——可以达到上下文内的性能上限（在100个游戏上为0.83和0.88，对比上下文内的0.84和0.88），同时GSM8K保持不变。该结论可以来自一个通过提出信息增益问题来寻找结论的询问循环。