視覺Transformer從自然圖像中學習完形般的圖形-背景線索

一篇由Matthias Tangemann等人提交至arXiv的新論文探討了視覺Transformer（ViT）如何從自然圖像中學習完形心理學中的圖形-背景組織線索。人類視覺系統利用多種基於形狀的線索進行圖形-背景分割，包括包圍性、凸性和對稱性。儘管這些線索在抽象刺激下已被廣泛研究，但它們在自然條件下的運作方式以及如何從自然場景統計中產生仍不清楚。該研究測試了25種ViT模型，涵蓋監督和自監督訓練目標，通過線性探針從中間塊表示預測圖形-背景分配。實驗使用了自然圖像以及分離單個線索的受控人工刺激。結果顯示，ViT穩健地編碼了包圍性和凸性，且基於自然圖像訓練的探針能夠零樣本泛化到多個模型的受控刺激。對於對稱性，結果較為複雜：該線索在均勻顏色區域被編碼，但在紋理區域未被編碼。這些發現表明，完形般的圖形-背景線索可以從自然場景統計中學習，並將ViT定位為研究知覺組織計算機制的有力模型系統。代碼和數據已在GitHub上公開。研究人員認為，這項工作不僅揭示了ViT的感知能力，還提出了一個可解釋的框架來理解深度神經網絡如何模仿人類視覺處理。未來工作可能探索其他完形線索以及不同架構間的差異。