近日发表于 arXiv 的论文《Prism Transformer: Progressive Head Schedules for Hierarchical Attention Processing》提出了一种新的 Transformer 架构变体，旨在解决多头注意力机制中一个常被忽视的结构性瓶颈。传统 Transformer 在每个层中将隐藏维度平均分配给所有注意力头，即每个头的维度固定为 dh = dmodel/h。这种均匀分配方式贯穿整个模型深度，导致早期层的注意力头因维度空间有限，难以有效捕捉复杂的高维上下文模式。
论文作者 Shubham Aggarwal 指出，这种静态均匀配置限制了模型表示能力的充分发挥。为此，他提出了 Prism Transformer，用渐进式头调度替代固定的头配置。具体而言，模型在浅层使用较少的头，但每个头拥有更宽的维度，从而能够捕获复杂的局部组合模式；随着层数加深，头数单调增加，每个头的维度相应变窄，专注于将浅层捕获的模式分解为更专门的语言特征。这种设计自然形成了从局部到全局的表示层次。
关键优势在于，这种结构变化不增加额外参数，也不改变计算量。Prism Transformer 保持了与标准 Transformer 相同的权重矩阵和 FLOP 预算，训练和推理均无额外开销。换言之，它仅通过重新分配现有资源——调整各层注意力头的数量和维度——就释放了模型潜在的容量。
为了验证有效性，作者在三个模型规模上进行了实验：124M、354M 和 757M 参数。在所有规模下，Prism Transformer 均一致优于采用均匀头配置的基线模型。具体表现为验证损失持续降低，同时在多个下游零样本基准上取得一致提升，包括 PIQA、HellaSwag、ARC-Easy 和 WinoGrande。这些结果表明，非均匀的子空间分配能够在不增加预算的情况下解锁标准 Transformer 的潜在能力，使模型容量得到更有效的利用。
该论文共 14 页，包含 4 幅图和 5 张表，提交于 2026 年 6 月 25 日，归类为机器学习（cs.LG）。这项研究为 Transformer 架构设计提供了新思路：通过简单的调度策略优化内部资源分配，即可获得性能增益，而无需引入额外参数或计算负担。