随着视频生成模型在真实感上的快速进步，AI生成的视频已经越来越难以与真实拍摄内容区分。然而，这些模型输出的视频仍然会暴露出多种伪影，例如时间上的不一致、结构扭曲以及语义不连贯。多模态大语言模型（MLLM）虽然在视觉理解方面表现出强大能力，但它们是否能够感知并推理这类伪影，目前仍不清楚。现有的基准往往缺乏对伪影感知和细粒度诊断推理的系统评估，尤其是在写实内容之外的多样化AI生成视频领域。
为了弥补这一空白，由Yuqi Tang等24位作者共同完成的研究提出了Artifact-Bench，一个用于评估MLLM在AI生成视频伪影检测与分析方面能力的综合基准。该工作已提交至arXiv，编号为2605.18984，属于计算机视觉与模式识别（cs.CV）领域，提交时间为2026年5月18日。
Artifact-Bench的核心贡献之一是建立了一个三级层次的真实感伪影分类体系（three-level hierarchical taxonomy），覆盖写实（photorealistic）、动画（animated）和CG风格（CG-style）三类视频。这一分类体系为系统化地描述和评估不同类型的伪影提供了结构化框架。
基于该分类体系，Artifact-Bench定义了三个互补的评估任务。第一个任务是真实视频与AI生成视频的二分类，要求模型判断给定视频是真实拍摄还是由AI生成。第二个任务是成对真实感比较，即让模型比较两个视频中哪一个更真实。第三个任务是细粒度伪影识别，要求模型具体指出视频中存在的伪影类型和位置。这三个任务从粗到细，逐步深入地考察模型的伪影感知与推理能力。
研究者利用Artifact-Bench对19个领先的MLLM进行了实验评估。结果揭示了这些模型在伪影感知和推理方面存在重大局限。在具有挑战性的设置下，许多模型的表现接近随机水平，甚至低于随机水平。这意味着模型在这些任务上并不比随机猜测更好，甚至可能系统性地做出错误判断。
此外，研究还观察到MLLM的判断与人类感知偏好之间存在显著错位（misalignment）。也就是说，模型认为更真实的视频，人类可能并不认同，反之亦然。这一发现凸显了MLLM作为AI生成视频真实感通用评估器的可靠性有限。
总体而言，Artifact-Bench不仅提供了一个系统评估MLLM伪影感知能力的平台，也揭示了当前多模态模型在细粒度视频理解方面的不足。随着AI生成视频质量持续提升，如何可靠地检测和评估其残留伪影将变得越来越重要，而Artifact-Bench为这一方向的研究提供了重要的基准工具。