跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

AVAtt:面向繪畫視覺注意力的自由觀看眼動數據集與基準

文章摘要

來自arXiv的新論文AVAtt構建了一個針對繪畫的自由觀看眼動追蹤數據集,覆蓋16個藝術流派、橫跨五個世紀的作品,包含多位參與者的掃描路徑與注視點數據,並對經典與深度顯著性模型及44種掃描路徑相似度度量進行了基準評測。

來源arXiv Computer Vision作者: Mohamed Amine Kerkouri, Marouane Tliba, Aladine Chetouani, Alessandro Bruno
AVAtt:面向繪畫視覺注意力的自由觀看眼動數據集與基準
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

arXiv 於 2026 年 10 月 21 日發佈了一篇題為《AVAtt: A Free-Viewing Eye-Tracking Dataset and Benchmark for Visual Attention on Paintings》的論文(arXiv:2610.30481v1,提交時間為 2026 年 10 月 21 日 22:02:01 UTC,全文約 25,997 KB)。該論文由 Mohamed Amine Kerkouri 及另外三位作者共同完成,屬於計算機視覺與模式識別(cs.CV)方向,同時涉及人機交互(cs.HC)以及圖像與視頻處理(eess.IV)兩個交叉領域。論文是 2024 年 ETRA 會議論文(DOI: 10.1145/3649902.3655656)的擴展版本,作者已在 arXiv 頁面提供 PDF、實驗性 HTML 版本以及 TeX 源碼,並標註了開源許可證鏈接。

論文的核心問題在於:現有的顯著性(saliency)模型與掃描路徑(scanpath)模型幾乎全部建立在自然照片之上,而繪畫作品是藝術家有意構圖以引導觀者視線的結果,在紋理、色彩和抽象程度等方面與照片存在本質差異,因此直接套用面向照片訓練的模型難以準確刻畫人們在觀看繪畫時的視覺注意行為。為彌補這一空白,作者構建併發布了 AVAtt 數據集。

AVAtt 是一個自由觀看(free-viewing)條件下的眼動追蹤數據集,圖像全部為繪畫作品,覆蓋十六個藝術流派、時間跨度達五個世紀。數據集包含多名被試提供的掃描路徑與注視點,每幅畫作的觀者人數介於最少與最多觀察者之間(論文摘要中具體數值以佔位符形式給出,需參照原文確認)。對每幅畫作,作者一併公開了個體掃描路徑(含注視時間與眼到屏幕的距離信息)、注視圖(fixation maps)、按 1 度視角平滑後的顯著圖(saliency maps)、時間維度上的顯著視頻,以及豐富的藝術元數據,便於研究者從視覺與藝術語義兩個層面開展分析。

在基準評測方面,論文將經典顯著性模型與深度顯著性模型同人類觀者之間的共識程度進行對比,結果顯示面向藝術作品的專用模型仍有相當大的提升空間(headroom)。作者還系統排序了 44 種掃描路徑相似性度量,其中包含一族全新的、不依賴語言標註的圖像編碼器指標,基於十個 CNN、ViT 及自監督編碼器構建。

在控制觀看偏差(viewing biases)後,研究給出若干實證發現:人臉區域的注視概率顯著高於隨機預期,且這一效應在最初半秒內即可出現;局部結構對視線具有較強的吸引作用;由圖像內容擬合出的構圖規則能夠預測人們的注視位置;藝術風格會影響觀者之間注視模式的一致程度。數據集、代碼及一個 Python 軟件包已在 Hugging Face 上公開(https://huggingface.co/datasets/Amine-CV/AVAtt),DOI 為 https://doi.org/10.48550/arXiv.2610.30481(由 DataCite 待註冊)。該工作為藝術感知研究、顯著性建模以及人機交互中的注意力預測提供了新的評測基礎。

展開要點與分析

文章情報

研究者進階

要點

  • 數據集覆蓋16個藝術流派、五個世紀,提供逐幅繪畫的個體掃描路徑、注視時長、眼屏距離、注視圖、按1度視角平滑的顯著性圖、時序顯著性視頻及藝術元數據。
  • 研究對經典與深度顯著性模型進行基準測試,結果顯示面向藝術作品的模型仍有明顯提升空間。
  • 對44種掃描路徑相似度度量進行排名,其中包括基於10種CNN、ViT和自監督編碼器的無需語言的新度量族。
  • 控制觀看偏差後,人臉被注視的頻率高於預期,且在0.5秒內出現;局部結構吸引視線,構圖規則可預測注視位置,藝術風格影響觀看者一致性。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。