跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

通过K近邻插值统一卷积与注意力

文章摘要

一篇本科论文提出ConvNN框架,将卷积和自注意力统一为k近邻聚合的特例,揭示二者位于连续谱上,并支持系统探索中间聚合方式。

来源arXiv Computer Vision作者: Mingi Kang
通过K近邻插值统一卷积与注意力
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

在计算机视觉领域,卷积神经网络(CNN)与Transformer之间的架构转换已经深刻改变了技术格局,但通常人们将这两类架构视为截然不同的存在:CNN以空间局部卷积操作为核心,而Transformer依赖全局自注意力机制。然而,一篇来自Bowdoin学院的本科论文提出了一种新视角,认为卷积与自注意力尽管表面差异显著,却可以在统一的k近邻聚合框架下得到解释。该论文发表于arXiv,编号为2606.14725,作者为Mingi Kang。

论文的核心洞察在于,卷积和自注意力实际上都是邻居选择与加权聚合的特例。具体而言,卷积通过空间邻近性来选择邻居,而自注意力则通过特征相似性进行选择。这一发现表明,二者并非类别上不同的计算,而是位于一个连续的谱系之上。基于此,作者提出了卷积最近邻(ConvNN)框架,将这种联系形式化。

ConvNN框架能够精确地还原标准卷积和深度可分离卷积——只需将邻居选择限制在归一化的空间坐标上;同样,通过用缩放点积相似度替代空间邻近性,它也能精确还原自注意力及其稀疏变体,包括KVT-attention。更重要的是,ConvNN不仅能够复现这些特殊情况,还可以作为卷积层和注意力层的直接替代品,通过可配置的相似度函数、邻居选择策略、位置编码和聚合核,系统性地探索局部与全局聚合之间的中间谱系。

这项工作的意义在于,它打破了卷积与注意力之间传统的二分法,为设计新的混合架构提供了理论依据和实用工具。研究者可以通过调整ConvNN的参数,在局部性和全局性之间进行平滑插值,从而可能发现新的高效计算模式。该论文属于计算机视觉与模式识别领域,是Bowdoin学院计算机科学系的本科毕业论文。

论文的提交历史显示,该版本于2026年5月31日提交,文件大小为6,735 KB。对于感兴趣的研究者,可以通过arXiv获取PDF全文和TeX源码。这项工作为理解深度学习架构的统一性开辟了新的道路,并可能启发未来更灵活、更高效的视觉模型设计。

展开要点与分析

文章情报

工程师进阶

要点

  • 卷积和自注意力均可视为邻居选择与加权聚合的特例
  • ConvNN通过调整相似度函数、邻居选择策略等配置,可精确恢复卷积、自注意力及其稀疏变体
  • 该框架可作为卷积层和注意力层的直接替代,便于探索局部与全局聚合之间的连续谱

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。