視覚言語モデル（VLM）は、AIが生成した画像に目に見えるアーティファクトが含まれるかどうかを判定する用途で急速に普及している。しかし、そうしたアーティファクトをモデルがどのように分析しているのかは、まだ十分に理解されていない。画像レベルでの正しい判断は、重要な失敗を隠している可能性がある。モデルがアーティファクトを正しく指摘していても、誤った視覚的手がかりに依存していたり、誤った領域を選択していたり、画像が支持しない欠陥を説明していたりすることがあるのだ。こうした振る舞いを直接評価するため、Xiaoxiao Sun氏ら5名の研究チームは、AI生成画像における顕著なアーティファクトの細粒度理解を目的とした診断ベンチマーク「SalArt-VQA」を提案した。この論文は2026年6月10日にarXiv（番号2606.12671）へ投稿され、コンピュータビジョンとパターン認識（cs.CV）に分類されている。全文は23ページ、7つの図と7つの表を含む。
SalArt-VQAは、950枚の画像と3,681問の人手で作成された多肢選択問題で構成される。画像はアーティファクトを含む画像、対応する実写参照画像、対になる生成参照画像にまたがる。ベンチマークには相互に整合した4種類の問題が設計されており、アーティファクトの存在検出、意味的定位、空間的グラウンディング、そして証拠に基づく欠陥識別をそれぞれ評価する。さらに参照画像の分割により、注釈された欠陥が実際には存在しない場合に、モデルが適切に校正され棄権できるかどうかもテストする。
研究チームは20のVLMを評価し、画像レベルの検出精度では見えない失敗パターンを明らかにした。最も性能の高いモデルはアーティファクト画像で99.37%の検出再現率を達成したが、同じ画像群で4種類のアーティファクト側問題すべてに正答した割合は53.26%にとどまった。つまり、モデルが画像内のアーティファクトを認識できたとしても、その位置を特定し、欠陥を具体的な視覚証拠に対応付ける作業では頻繁に誤る可能性がある。
アーティファクト画像とアーティファクトのない参照画像を比較すると、感度と校正の間のトレードオフが浮かび上がる。敏感なモデルはアーティファクトのない画像に対しても根拠の乏しいアーティファクト主張をしばしば行う一方、保守的なモデルは誤警報を避ける代わりに、実在するアーティファクトを見逃す傾向がある。すなわち、高い検出精度だけでは、根拠に基づいたアーティファクト理解を意味しない。SalArt-VQAはこうした隠れた失敗モードを可視化し、VLMのアーティファクト主張が局所的な視覚証拠に裏付けられているかを細かく評価する手段を提供する。データセットは公開されており、論文には投稿履歴や引用情報も含まれているため、今後の研究で再現や拡張が可能である。