視覺Transformer從自然影像中學習完形般的圖形-背景線索
一項新研究表明，視覺Transformer（ViT）能夠從自然影像中學習完形心理學中的圖形-背景線索，如包圍性、凸性和對稱性。研究測試了25種ViT模型，發現它們穩健地編碼了包圍性和凸性，而對對稱性的編碼僅適用於均勻顏色區域。這項工作表明，完形線索可以從自然場景統計中學習，併為研究知覺組織的計算機制提供了模型系統。
來源arXiv Computer Vision作者: Matthias Tangemann, Benjamin Lo, Zygmunt Pizlo, Kaleem Siddiqi, Dirk B. Walther, Sven Dickinson
一篇由Matthias Tangemann等人提交至arXiv的新論文探討了視覺Transformer（ViT）如何從自然影像中學習完形心理學中的圖形-背景組織線索。人類視覺系統利用多種基於形狀的線索進行圖形-背景分割，包括包圍性、凸性和對稱性。儘管這些線索在抽象刺激下已被廣泛研究，但它們在自然條件下的運作方式以及如何從自然場景統計中產生仍不清楚。該研究測試了25種ViT模型，涵蓋監督和自監督訓練目標，透過線性探針從中間塊表示預測圖形-背景分配。實驗使用了自然影像以及分離單個線索的受控人工刺激。結果顯示，ViT穩健地編碼了包圍性和凸性，且基於自然影像訓練的探針能夠零樣本泛化到多個模型的受控刺激。對於對稱性，結果較為複雜：該線索在均勻顏色區域被編碼，但在紋理區域未被編碼。這些發現表明，完形般的圖形-背景線索可以從自然場景統計中學習，並將ViT定位為研究知覺組織計算機制的有力模型系統。程式碼和資料已在GitHub上公開。研究人員認為，這項工作不僅揭示了ViT的感知能力，還提出了一個可解釋的框架來理解深度神經網路如何模仿人類視覺處理。未來工作可能探索其他完形線索以及不同架構間的差異。