近年、マルチ参照音声映像生成（Multi-Reference-to-Audio-Video, MR2AV）タスクが研究のホットトピックとなっている。このタスクでは、モデルは複数の参照（画像や音声クリップなど）とテキスト指示に基づいて、同期した音声映像コンテンツを生成する必要がある。従来のテキスト駆動生成や単一参照保存とは異なり、MR2AVではモデルが複数の参照を同時に推論し、それらを正しく結合・合成して一貫性のある音声映像イベントを形成することが求められる。しかし、既存のベンチマークはテキスト駆動生成、単一参照保存、または孤立した音声映像アライメントに重点を置いており、MR2AV設定の評価はほとんど行われていない。
このギャップを埋めるため、複数の研究機関の研究者らはMultiRef-Compassを提案した。これはMR2AV生成タスクのための統一ベンチマークである。このベンチマークは、スケーラブルで制御可能なアセット合成パイプラインを通じて厳選された350のサンプルから構成され、以下の3つの主要なシナリオをカバーしている：多視点対象保存（異なる角度からの同一対象の一貫性維持）、多エンティティ結合（複数のエンティティとそれぞれの属性の正しい関連付け）、および人物-物体-シーン構成（人、物体、シーン要素の融合）。
評価手法において、MultiRef-Compassは4次元の評価プロトコルを定義している。すなわち、基本品質（Basic Quality）、参照一貫性（Reference Consistency）、音声映像一貫性（Audio-Visual Consistency）、指示追従（Instruction Following）であり、これらは14のサブメトリクスに細分化される。評価の解釈可能性と信頼性を高めるため、ベンチマークは自動メトリクスと「再審査強化型多モーダル大規模言語モデル審判（rejudging-enhanced MLLM-as-a-Judge）」フレームワークを統合している。このフレームワークは多モーダル大規模言語モデルを利用して生成結果をスコアリングし、再審査メカニズムによって判定の信頼性を向上させる。
研究チームは8つの代表的なMR2AVシステムで大規模な実験を行った。結果は、既存のシステムがすべての評価次元で改善の余地が大きいことを示しており、特に複数参照の結合や音声映像の同期において顕著である。これはMR2AVタスクが依然として大きな課題を抱えていることを示唆しており、MultiRef-Compassは今後の研究のための強固な基盤と標準化された評価プラットフォームを提供する。
本研究はarXivで公開されており、さらなる研究を促進するために完全なデータセットと評価コードが提供されている。