这篇题为《The Context-Ready Transformer》（上下文就绪的Transformer）的论文由Mahesh Godavarti撰写，于2026年6月25日提交至arXiv，编号为arXiv:2606.27538，归类于计算与语言（cs.CL）和人工智能（cs.AI）方向，MSC分类为68T07，ACM分类为I.2.6与I.5.1，并注明为NeurIPS论文、全文共22页。
论文提出了一种名为“上下文就绪Transformer”的全新循环神经网络架构。它的核心构成是一个D层Transformer块，但与标准做法不同的是，每个词元在进入该块之前就已经被预先上下文化。具体来说，在从左到右的生成过程中，一个校正网络会把前一个位置的块输出——即对过往上下文所作的缓存摘要——与当前词元的嵌入向量结合起来。这样一来，词元进入Transformer块时携带的已经是经过上下文化的表示，而不是原始的嵌入向量。由于在顺序推理时这种校正链条会不断传递，该架构实际上转变成了一个循环神经网络。
在训练方面，作者采用了对校正过程展开（unroll）K次的方式，每次都在整条序列上对所有位置进行并行处理，从而在保留循环式推理特性的同时维持训练效率。论文还指出，已有的预训练Transformer可以通过增加一个零初始化的校正前馈网络（FFN）并进行微调，转换成上下文就绪模型，这为该架构的落地提供了一条低成本的迁移路径。
实验部分，作者在两种数据集上、跨不同宽度、深度和块大小进行了评估，所有比较都对照标准Transformer、其他变体以及消融实验展开。结果显示，一个D=5的模型在A100上以1.7倍的生成速度超过了12层Transformer。当K=10时，单层模型（D=1）不仅击败了6层Transformer，还带来2.6倍的推理加速；而且顺序推理的结果与并行的K=10版本在困惑度（PPL）上相差不超过0.01。作者观察到，该架构从宽表示和长上下文中获益最为明显。
在指针追踪（pointer-chasing）任务上，使用BPTT训练的单层模型（D=1）成功解决了全部10个组合层级，而标准Transformer则表现出类似阶梯状的深度依赖，即需要逐层增加深度才能解决更高的组合层级。总体而言，这项工作试图通过让模型在输入阶段就具备上下文感知能力，在不牺牲推理速度的前提下提升计算效率与长程组合能力。