MultiRef-Compass：迈向多参考音频视频生成的综合评估
多参考音频视频生成（MR2AV）要求模型基于多个参考和文本指令生成同步音视频内容。现有基准主要关注文本驱动生成或单参考保留，缺乏对该任务的评估。本文提出MultiRef-Compass，一个包含350个精心构建样本的统一基准，涵盖多视角主体保留、多实体绑定和人-物-场景组合。它定义了一个四维评估协议（基础质量、参考一致性、音视频一致性、指令遵循），包含14个子指标，并集成了自动指标与重审增强的多模态大模型评判框架。在八个代表性MR2AV系统上的实验揭示了各维度的显著改进空间。
近年来，多参考音频视频生成（Multi-Reference-to-Audio-Video, MR2AV）任务逐渐成为研究热点。该任务要求模型基于多个参考信息（如图像、音频片段）和文本指令，生成同步协调的音频视频内容。与传统的文本驱动生成或单参考主体保留不同，MR2AV需要模型同时推理多个参考，并正确绑定与组合多参考实体形成连贯的音视频事件。然而，现有基准大多侧重于文本驱动生成、单参考主体保留或孤立的音视频对齐，对MR2AV这一新兴设置缺乏系统评估。
为填补这一空白，来自多所机构的研究人员提出了MultiRef-Compass——一个面向MR2AV生成任务统一评估基准。该基准通过可扩展且可控的资产组合流水线，精心构建了350个测试样本，覆盖三大核心场景：多视角主体保留（即从不同角度保留同一主体的一致性）、多实体绑定（即正确关联多个实体与各自属性）以及人-物-场景组合（即融合人、物体与场景要素）。
在评估方法上，MultiRef-Compass定义了一个四维评估协议，包括基础质量（Basic Quality）、参考一致性（Reference Consistency）、音视频一致性（Audio-Visual Consistency）和指令遵循（Instruction Following），并细化为14个子指标。为提升评估的可解释性和可靠性，基准集成了自动指标与一种名为“重审增强的多模态大模型评判”框架，该框架利用多模态大模型对生成结果进行评分，并通过重新审视机制提高评判的可信度。
研究团队在八个代表性MR2AV系统上进行了大量实验。结果显示，现有系统在各项评估维度上均存在明显的提升空间，尤其是在多参考绑定和音视频同步方面。这表明MR2AV任务仍面临巨大挑战，而MultiRef-Compass为未来研究提供了坚实的基础和标准化评测平台。
该工作已在arXiv上发布，并提供了完整的数据集和评估代码，以促进学术界在MR2AV领域的进一步探索。