Vision Transformerが自然画像からゲシュタルト的な図地手がかりを学習

Matthias Tangemann氏らがarXivに投稿した新しい論文では、Vision Transformer（ViT）が自然画像からゲシュタルト心理学の図地組織化手がかりをどのように学習するかを調査しています。人間の視覚システムは、囲まれ性、凸性、対称性といった形状ベースの手がかりを利用して図地分割を行います。これらの手がかりは抽象刺激を用いて広く研究されてきましたが、自然条件下での動作や自然シーンの統計からどのように生じるかはほとんど分かっていません。この研究では、教師ありおよび自己教師あり学習目的で訓練された25のViTモデルをテストし、中間パッチ表現から線形プローブを用いて図地割り当てを予測しました。実験では自然画像と個別の手がかりを分離した人工刺激を使用しました。結果として、ViTは囲まれ性と凸性を堅牢に符号化し、自然画像で訓練されたプローブは複数のモデルで人工刺激にゼロショットで一般化しました。対称性については結果が複雑で、均一色領域では符号化されるものの、テクスチャ領域では符号化されませんでした。これらの発見は、ゲシュタルト的な図地手がかりが自然シーンの統計から学習可能であることを示し、ViTを知覚組織の計算メカニズムを研究するための有力なモデルシステムとして位置づけています。コードとデータはGitHubで公開されており、今後の研究では異なるアーキテクチャや追加のゲシュタルト手がかりの探索が期待されます。