動画生成モデルがリアリズムを大幅に向上させる一方で、AIが生成した動画には依然として時間的な不整合、構造的歪み、意味的な非一貫性などのアーティファクトが存在する。マルチモーダル大規模言語モデル（MLLM）は視覚理解において強力な能力を示すが、そのようなアーティファクトを知覚し推論する能力は明らかになっていない。既存のベンチマークは、特にフォトリアリスティックなコンテンツ以外の多様なAI生成動画領域において、アーティファクト認識の知覚と細粒度の診断推論を体系的に評価することを欠いていることが多い。
このギャップを埋めるため、Yuqi Tang氏ら24名の著者による研究は、AI生成動画のアーティファクト検出と分析においてMLLMを評価するための包括的なベンチマーク「Artifact-Bench」を導入した。この論文はarXivに投稿され、番号は2605.18984、コンピュータビジョンとパターン認識（cs.CV）に分類され、2026年5月18日に提出された。
Artifact-Benchの中心的な貢献の一つは、リアリズムアーティファクトの3段階の階層的分類体系を確立したことである。この分類体系は、フォトリアリスティック、アニメーション、CGスタイルの3種類の動画をカバーしている。これにより、異なるタイプのアーティファクトを体系的に記述し評価するための構造化された枠組みが提供される。
この分類体系に基づき、Artifact-Benchは3つの補完的な評価タスクを定義している。第一のタスクは、実動画とAI生成動画の二分類であり、モデルに与えられた動画が実写かAI生成かを判断させる。第二のタスクはペアワイズリアリズム比較で、2つの動画のどちらがよりリアルかをモデルに比較させる。第三のタスクは細粒度アーティファクト識別であり、動画に存在するアーティファクトの種類と位置を具体的に指摘することを要求する。これら3つのタスクは、粗いレベルから細かいレベルへと段階的にモデルのアーティファクト知覚と推論能力を評価する。
研究者らはArtifact-Benchを用いて19の最先端MLLMを実験的に評価した。その結果、これらのモデルがアーティファクトの知覚と推論において重大な限界を持つことが明らかになった。挑戦的な設定では、多くのモデルの性能がランダムレベルに近づくか、甚至はランダム以下となった。これは、モデルがこれらのタスクでランダム推測よりも優れていないことを意味し、体系的に誤った判断を下す可能性があることを示唆している。
さらに、研究はMLLMの判断と人間の知覚嗜好との間に有意な不一致があることを観察した。つまり、モデルがよりリアルと判断した動画を人間はそう認識しない場合があり、逆もまた然りである。この発見は、AI生成動画のリアリズムに関する汎用評価者としてのMLLMの信頼性が限定的であることを浮き彫りにしている。
全体として、Artifact-BenchはMLLMのアーティファクト知覚能力を体系的に評価するプラットフォームを提供するだけでなく、現在のマルチモーダルモデルの細粒度動画理解における不足を明らかにしている。AI生成動画の品質が向上し続ける中で、残存するアーティファクトを信頼性高く検出・評価することの重要性は増しており、Artifact-Benchはこの方向の研究に重要なベンチマークツールを提供する。