近日，一篇题为《视觉任务中改进的信念注意力机制》的论文以预印本形式发布在arXiv上，作者为郭强，提交时间为2026年5月22日。该研究属于计算机视觉与模式识别领域，同时涉及人工智能方向。论文聚焦于Transformer架构中注意力机制的改进，提出了一种名为Belief2-Attention的新模块，旨在提升视觉任务中的性能表现。
研究的起点是此前提出的Belief-Attention机制。该机制的核心思想是：对基于softmax的V向量加权求和结果，相对于原始V向量进行正交投影，然后取垂直分量作为残差信号，以此改善Transformer的性能。然而，郭强在本文中首先进行了一项消融研究，发现被投影掉的分量同样携带了关于令牌相关性的信息，不应被忽视。这一发现构成了后续改进的直接动机。
基于上述观察，作者提出对Belief-Attention进行扩展，使其同时利用垂直分量和投影分量。具体而言，投影分量会先经过某个激活函数处理，再通过一个线性映射，最后与当前考虑的令牌进行合并。从概念上讲，用于处理投影分量的神经模块可以视为新注意力块内部的一个两层前馈网络。这种设计使得注意力块能够更充分地利用V向量中的信息。
除了对V向量分量的利用进行改进外，论文还注意到标准注意力机制通过内积矩阵QK^T来捕捉令牌之间的相关性。为了捕捉更丰富的令牌相关性，作者提出在QK^T之外引入一个额外的内积矩阵ZZ^T。这两个矩阵共同作用，使得新模块能够建模更复杂的令牌间关系。作者将这一新模块命名为Belief2-Attention。
论文指出，可以很容易地证明Belief2-Attention比标准注意力具有更强的表达能力。为了验证其实际效果，作者在图像分类和分割这两个视觉任务上进行了实验。虽然摘要中未提供具体的实验数据，但作者声称已验证了Belief2-Attention的有效性。该工作为注意力机制的改进提供了新的思路，即通过更全面地利用投影分量和引入额外的相关性矩阵来增强模型性能。
从更广的视角来看，这项研究延续了近期对注意力机制内部信息流动的细粒度分析趋势。传统的注意力机制主要依赖QK^T内积来分配权重，而Belief-Attention及其改进版本则试图从V向量的几何结构中挖掘额外的信号。Belief2-Attention将投影分量重新纳入计算，并通过类似FFN的结构进行处理，这在一定程度上模糊了注意力块与前馈网络之间的界限，为Transformer架构的设计提供了新的可能性。
该论文的完整版本可通过arXiv获取，包括PDF和实验性HTML版本。论文的学科分类为计算机视觉与模式识别（cs.CV），并交叉列出人工智能（cs.AI）。提交历史显示该论文于2026年5月22日09:12:43 UTC提交，文件大小为123 KB。引用信息为arXiv:2606.00077 [cs.CV]，DOI为https://doi.org/10.48550/arXiv.2606.00077。