跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

AVAtt:面向绘画视觉注意力的自由观看眼动数据集与基准

文章摘要

来自arXiv的新论文AVAtt构建了一个针对绘画的自由观看眼动追踪数据集,覆盖16个艺术流派、横跨五个世纪的作品,包含多位参与者的扫描路径与注视点数据,并对经典与深度显著性模型及44种扫描路径相似度度量进行了基准评测。

来源arXiv Computer Vision作者: Mohamed Amine Kerkouri, Marouane Tliba, Aladine Chetouani, Alessandro Bruno
AVAtt:面向绘画视觉注意力的自由观看眼动数据集与基准
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

arXiv 于 2026 年 10 月 21 日发布了一篇题为《AVAtt: A Free-Viewing Eye-Tracking Dataset and Benchmark for Visual Attention on Paintings》的论文(arXiv:2610.30481v1,提交时间为 2026 年 10 月 21 日 22:02:01 UTC,全文约 25,997 KB)。该论文由 Mohamed Amine Kerkouri 及另外三位作者共同完成,属于计算机视觉与模式识别(cs.CV)方向,同时涉及人机交互(cs.HC)以及图像与视频处理(eess.IV)两个交叉领域。论文是 2024 年 ETRA 会议论文(DOI: 10.1145/3649902.3655656)的扩展版本,作者已在 arXiv 页面提供 PDF、实验性 HTML 版本以及 TeX 源码,并标注了开源许可证链接。

论文的核心问题在于:现有的显著性(saliency)模型与扫描路径(scanpath)模型几乎全部建立在自然照片之上,而绘画作品是艺术家有意构图以引导观者视线的结果,在纹理、色彩和抽象程度等方面与照片存在本质差异,因此直接套用面向照片训练的模型难以准确刻画人们在观看绘画时的视觉注意行为。为弥补这一空白,作者构建并发布了 AVAtt 数据集。

AVAtt 是一个自由观看(free-viewing)条件下的眼动追踪数据集,图像全部为绘画作品,覆盖十六个艺术流派、时间跨度达五个世纪。数据集包含多名被试提供的扫描路径与注视点,每幅画作的观者人数介于最少与最多观察者之间(论文摘要中具体数值以占位符形式给出,需参照原文确认)。对每幅画作,作者一并公开了个体扫描路径(含注视时间与眼到屏幕的距离信息)、注视图(fixation maps)、按 1 度视角平滑后的显著图(saliency maps)、时间维度上的显著视频,以及丰富的艺术元数据,便于研究者从视觉与艺术语义两个层面开展分析。

在基准评测方面,论文将经典显著性模型与深度显著性模型同人类观者之间的共识程度进行对比,结果显示面向艺术作品的专用模型仍有相当大的提升空间(headroom)。作者还系统排序了 44 种扫描路径相似性度量,其中包含一族全新的、不依赖语言标注的图像编码器指标,基于十个 CNN、ViT 及自监督编码器构建。

在控制观看偏差(viewing biases)后,研究给出若干实证发现:人脸区域的注视概率显著高于随机预期,且这一效应在最初半秒内即可出现;局部结构对视线具有较强的吸引作用;由图像内容拟合出的构图规则能够预测人们的注视位置;艺术风格会影响观者之间注视模式的一致程度。数据集、代码及一个 Python 软件包已在 Hugging Face 上公开(https://huggingface.co/datasets/Amine-CV/AVAtt),DOI 为 https://doi.org/10.48550/arXiv.2610.30481(由 DataCite 待注册)。该工作为艺术感知研究、显著性建模以及人机交互中的注意力预测提供了新的评测基础。

展开要点与分析

文章情报

研究者进阶

要点

  • 数据集覆盖16个艺术流派、五个世纪,提供逐幅绘画的个体扫描路径、注视时长、眼屏距离、注视图、按1度视角平滑的显著性图、时序显著性视频及艺术元数据。
  • 研究对经典与深度显著性模型进行基准测试,结果显示面向艺术作品的模型仍有明显提升空间。
  • 对44种扫描路径相似度度量进行排名,其中包括基于10种CNN、ViT和自监督编码器的无需语言的新度量族。
  • 控制观看偏差后,人脸被注视的频率高于预期,且在0.5秒内出现;局部结构吸引视线,构图规则可预测注视位置,艺术风格影响观看者一致性。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。