在计算机视觉领域,卷积神经网络(CNN)与Transformer之间的架构转换已经深刻改变了技术格局,但通常人们将这两类架构视为截然不同的存在:CNN以空间局部卷积操作为核心,而Transformer依赖全局自注意力机制。然而,一篇来自Bowdoin学院的本科论文提出了一种新视角,认为卷积与自注意力尽管表面差异显著,却可以在统一的k近邻聚合框架下得到解释。该论文发表于arXiv,编号为2606.14725,作者为Mingi Kang。
论文的核心洞察在于,卷积和自注意力实际上都是邻居选择与加权聚合的特例。具体而言,卷积通过空间邻近性来选择邻居,而自注意力则通过特征相似性进行选择。这一发现表明,二者并非类别上不同的计算,而是位于一个连续的谱系之上。基于此,作者提出了卷积最近邻(ConvNN)框架,将这种联系形式化。
ConvNN框架能够精确地还原标准卷积和深度可分离卷积——只需将邻居选择限制在归一化的空间坐标上;同样,通过用缩放点积相似度替代空间邻近性,它也能精确还原自注意力及其稀疏变体,包括KVT-attention。更重要的是,ConvNN不仅能够复现这些特殊情况,还可以作为卷积层和注意力层的直接替代品,通过可配置的相似度函数、邻居选择策略、位置编码和聚合核,系统性地探索局部与全局聚合之间的中间谱系。
这项工作的意义在于,它打破了卷积与注意力之间传统的二分法,为设计新的混合架构提供了理论依据和实用工具。研究者可以通过调整ConvNN的参数,在局部性和全局性之间进行平滑插值,从而可能发现新的高效计算模式。该论文属于计算机视觉与模式识别领域,是Bowdoin学院计算机科学系的本科毕业论文。
论文的提交历史显示,该版本于2026年5月31日提交,文件大小为6,735 KB。对于感兴趣的研究者,可以通过arXiv获取PDF全文和TeX源码。这项工作为理解深度学习架构的统一性开辟了新的道路,并可能启发未来更灵活、更高效的视觉模型设计。