コンピュータビジョンにおける顕著性モデルやスキャンパスモデルは、ほぼ例外なく自然写真を基に開発されてきた。しかし絵画は写真とは異なり、芸術家が鑑賞者の視線を導くように構図を設計しており、テクスチャや色彩、抽象度の面でも写真とは性格を異にする。このギャップに取り組む新しい論文がarXivで公開され、絵画を対象とした自由閲覧アイトラッキングデータセットおよびベンチマーク「AVAtt」を提案している。
このデータセットは16の芸術運動にまたがり、時間的には5世紀に及ぶ絵画を収録する。参加者によるアイトラッキング記録からスキャンパスと注視点のデータが構成され、各絵画は一定範囲の複数の観察者によって閲覧されている。各作品について、注視のタイミングと眼と画面の距離を含む個人のスキャンパス、注視マップ、視角1度で平滑化した顕著性マップ、時間的な顕著性動画、さらに豊富な芸術メタデータが公開されており、低次の眼球運動信号から高次の芸術的属性までを一貫して扱える。
ベンチマークでは、古典的な顕著性モデルと深層学習ベースのモデルを人間の一致度と照らし合わせて評価している。その結果、絵画に特化したモデルには依然として大きな改善余地があることが明らかになり、自然画像で訓練された手法をそのまま転用するだけでは不十分であることが示唆された。また研究では44種類のスキャンパス類似度指標を順位付けしており、その中には10種類のCNN、ViT、自己教師ありエンコーダに基づく、言語に依存しない新しい画像エンコーダ指標群も含まれる。
さらに論文は、閲覧バイアスを除去する制御実験を通じて興味深い知見を示している。顔は予想される以上に高い頻度で注視され、その注視は0.5秒以内に生じること、局所的な構造が視線を引きつけること、画像内容から推定した構図規則が人々の注視位置を予測できること、そして画風が閲覧者間の一致度の高さを左右することが確認された。
本成果はETRA 2024で発表された研究の拡張版にあたり、コンピュータビジョンとパターン認識、ヒューマンコンピュータインタラクション、画像・映像処理の交差領域に位置づけられる。データセット、コード、PythonパッケージはHugging Face上で公開されており、今後の研究での再現や発展が期待される。