近年來，視頻生成模型在提升AI生成視頻的真實感方面取得了顯著進展，但生成的視頻仍存在時間不一致、結構扭曲和語義不連貫等偽影。儘管多模態大語言模型（MLLM）展現出強大的視覺理解能力，但它們感知和推理這些偽影的能力尚不明確。現有的基準測試往往缺乏對偽影感知和細粒度診斷推理的系統評估，尤其是在真實感內容以外的多樣化AI生成視頻領域。為填補這一空白，研究者提出了Artifact-Bench，一個全面的基準，用於評估MLLM在AI生成視頻偽影檢測與分析方面的能力。
Artifact-Bench首先建立了一個三級層次化的真實感偽影分類體系，覆蓋真實感視頻、動畫視頻和CG風格視頻。基於這一分類體系，基準定義了三個互補任務：真實視頻與AI生成視頻的分類、逐對真實感比較以及細粒度偽影識別。研究者在19個主流MLLM上進行了實驗，結果揭示了這些模型在偽影感知和推理方面存在顯著侷限性，許多模型在挑戰性設置下表現接近隨機甚至低於隨機水平。此外，研究還觀察到MLLM的判斷與人類感知偏好之間存在嚴重偏差，表明它們作為AI生成視頻真實感的通用評估者其可靠性有限。
這項研究為未來改進MLLM在視頻偽影檢測方面的能力提供了重要參考，並強調了開發更能對齊人類感知的評估方法的必要性。