视觉Transformer从自然图像中学习完形般的图形-背景线索
一项新研究表明，视觉Transformer（ViT）能够从自然图像中学习完形心理学中的图形-背景线索，如包围性、凸性和对称性。研究测试了25种ViT模型，发现它们稳健地编码了包围性和凸性，而对对称性的编码仅适用于均匀颜色区域。这项工作表明，完形线索可以从自然场景统计中学习，并为研究知觉组织的计算机制提供了模型系统。
来源arXiv Computer Vision作者: Matthias Tangemann, Benjamin Lo, Zygmunt Pizlo, Kaleem Siddiqi, Dirk B. Walther, Sven Dickinson
一篇由Matthias Tangemann等人提交至arXiv的新论文探讨了视觉Transformer（ViT）如何从自然图像中学习完形心理学中的图形-背景组织线索。人类视觉系统利用多种基于形状的线索进行图形-背景分割，包括包围性、凸性和对称性。尽管这些线索在抽象刺激下已被广泛研究，但它们在自然条件下的运作方式以及如何从自然场景统计中产生仍不清楚。该研究测试了25种ViT模型，涵盖监督和自监督训练目标，通过线性探针从中间块表示预测图形-背景分配。实验使用了自然图像以及分离单个线索的受控人工刺激。结果显示，ViT稳健地编码了包围性和凸性，且基于自然图像训练的探针能够零样本泛化到多个模型的受控刺激。对于对称性，结果较为复杂：该线索在均匀颜色区域被编码，但在纹理区域未被编码。这些发现表明，完形般的图形-背景线索可以从自然场景统计中学习，并将ViT定位为研究知觉组织计算机制的有力模型系统。代码和数据已在GitHub上公开。研究人员认为，这项工作不仅揭示了ViT的感知能力，还提出了一个可解释的框架来理解深度神经网络如何模仿人类视觉处理。未来工作可能探索其他完形线索以及不同架构间的差异。