AIコンテンツ生成技術の急速な進歩により、オーディオビジュアル生成は短いクリップから分単位の長尺コンテンツへと移行しつつあります。しかし、既存の評価ベンチマークやプロトコルは主に5～10秒の短尺設定に限定されており、長尺生成におけるアイデンティティの一貫性、ナarrative coherence、視聴覚同期能力を体系的に評価できていません。このギャップを埋めるため、Tengfei Liu氏を含む20名の研究者チームは、arXivで公開された論文「LongAV-Compass: Towards Unified Evaluation of Minute-Scale Audio-Visual Generation Across T2AV, I2AV, and V2AV」において、統一評価ベンチマークLongAV-Compassを提案しました。
LongAV-Compassは、テキストからオーディオビデオ（T2AV）、画像からオーディオビデオ（I2AV）、ビデオからオーディオビデオ（V2AV）の3つの条件付き入力モダリティをカバーする284の厳選されたテストケースで構成されています。これらのケースは、アプリケーションシナリオと生成の複雑さに基づいて分類されており、評価の網羅性と代表性を確保しています。これまでのベンチマークが単一モダリティに限定されていたのに対し、LongAV-Compassは複数の条件モダリティにわたる統一評価を初めて実現し、クロスモーダル生成研究の重要なツールを提供します。
評価方法においては、革新的な二重評価フレームワークを採用しています。まず、マルチモーダル大規模言語モデル（MLLM）を利用した支援評価により、生成コンテンツの高次意味やナarrative構造を捉えます。次に、補完的な知覚・マルチモーダル指標として、DINO-v2（オブジェクトレベルの一貫性）、ArcFace（顔認識による同一性維持）、CLIP（テキストと視覚の意味的アライメント）、ImageBind（クロスモーダル結合）などを導入します。評価フレームワークは、セグメント内品質（例：音声明瞭度、フレーム安定性）、セグメント間一貫性（例：シーン遷移の自然さ）、グローバルナarrative coherence（例：ストーリーラインの論理性）、意味的アライメント（例：テキスト記述と生成内容の一致度）、視聴覚同期（例：音声と映像の時間的一致）など、20以上の詳細な次元をカバーします。
ベンチマークの有効性を検証するため、研究チームは11の代表的なオーディオビジュアル生成モデルで実験を行い、人間によるアライメント検証も実施しました。実験結果は、既存のモデルが短尺生成では良好なパフォーマンスを示す一方、分単位の生成タスクでは一貫性の喪失、ナarrative coherenceの低下、視聴覚非同期などの問題が顕著になることを示しました。例えば、T2AVタスクでは、数十秒後に人物の顔が不連続になったり、環境音と映像がずれたりする現象が見られました。I2AVタスクでは、静的画像から動的コンテンツを生成する際に無関係なイベントが挿入されやすく、V2AVタスクでは元のビデオの意味保持と音響適応に課題が残りました。これらの発見は、映像制作、仮想現実、教育コンテンツ生成といった長尺応用への展開における重要な障壁を浮き彫りにしています。
LongAV-Compassの提案は、研究者に標準化された診断テスト基盤を提供するだけでなく、より堅牢な分単位オーディオビジュアル生成モデルの開発方向を示しています。このベンチマークのオープンソース化と標準化は、当該分野の研究を実験室から実用化へ加速させるでしょう。論文の詳細はarXiv（識別番号2605.26244）で閲覧可能です。