MultiRef-Compass：邁向多參考音訊影片生成的綜合評估
多參考音訊影片生成（MR2AV）要求模型基於多個參考和文本指令生成同步音影片內容。現有基準主要關注文本驅動生成或單參考保留，缺乏對該任務的評估。本文提出MultiRef-Compass，一個包含350個精心構建樣本的統一基準，涵蓋多視角主體保留、多實體繫結和人-物-場景組合。它定義了一個四維評估協議（基礎質量、參考一致性、音影片一致性、指令遵循），包含14個子指標，並整合了自動指標與重審增強的多模態大模型評判框架。在八個代表性MR2AV系統上的實驗揭示了各維度的顯著改進空間。
近年來，多參考音訊影片生成（Multi-Reference-to-Audio-Video, MR2AV）任務逐漸成為研究熱點。該任務要求模型基於多個參考資訊（如影像、音訊片段）和文本指令，生成同步協調的音訊影片內容。與傳統的文本驅動生成或單參考主體保留不同，MR2AV需要模型同時推理多個參考，並正確繫結與組合多參考實體形成連貫的音影片事件。然而，現有基準大多側重於文本驅動生成、單參考主體保留或孤立的音影片對齊，對MR2AV這一新興設定缺乏系統評估。
為填補這一空白，來自多所機構的研究人員提出了MultiRef-Compass——一個面向MR2AV生成任務統一評估基準。該基準透過可擴充套件且可控的資產組合流水線，精心構建了350個測試樣本，覆蓋三大核心場景：多視角主體保留（即從不同角度保留同一主體的一致性）、多實體繫結（即正確關聯多個實體與各自屬性）以及人-物-場景組合（即融合人、物體與場景要素）。
在評估方法上，MultiRef-Compass定義了一個四維評估協議，包括基礎質量（Basic Quality）、參考一致性（Reference Consistency）、音影片一致性（Audio-Visual Consistency）和指令遵循（Instruction Following），並細化為14個子指標。為提升評估的可解釋性和可靠性，基準整合了自動指標與一種名為“重審增強的多模態大模型評判”框架，該框架利用多模態大模型對生成結果進行評分，並透過重新審視機制提高評判的可信度。
研究團隊在八個代表性MR2AV系統上進行了大量實驗。結果顯示，現有系統在各項評估維度上均存在明顯的提升空間，尤其是在多參考繫結和音影片同步方面。這表明MR2AV任務仍面臨巨大挑戰，而MultiRef-Compass為未來研究提供了堅實的基礎和標準化評測平臺。
該工作已在arXiv上釋出，並提供了完整的資料集和評估程式碼，以促進學術界在MR2AV領域的進一步探索。