本研究聚焦於文本到聲音視頻生成（T2SV）任務，旨在從文本描述生成帶有同步音頻的視頻，並使兩種模態（視頻和音頻）與文本條件對齊。儘管在聯合音視頻訓練方面取得了進展，但仍面臨兩個關鍵挑戰：其一，文本條件成為瓶頸——共享字幕（即視頻和音頻使用同一段文本描述）會導致模態干擾，而且訓練時所使用的密集詳細字幕與推理時用户輸入的簡潔提示之間存在顯著差距；其二，跨模態特徵交互的最佳融合機制尚不明確。
為應對第一個挑戰，論文提出交叉參考重寫器（Cross-Referential Rewriter，CRR）字幕框架。這是一個雙智能體流水線：首先，語義檢查器（Semantic Checker）從原始共享字幕中提取基於語義的錨點，即關鍵概念和實體；然後，跨模態重寫器（Cross-Modal Rewriter）利用這些錨點生成解耦的字幕對——分別針對視頻（TV）和音頻（TA），從而消除模態干擾，並彌補訓練與推理之間的文本風格差距。這一創新方法通過分離不同模態的文本條件，有效避免了原先共享字幕帶來的混淆，使得模型能夠更清晰地學習每個模態的特徵。
該研究由中國人民大學和蘋果公司的研究者合作完成，論文於2026年7月發表。作者包括關凱斯、王希華、賴正峯、程鑫、張鵬、劉曉江、宋瑞華和曹萌。除了CRR框架，研究還探討了大規模圖像-字幕數據在多模態基礎模型預訓練中的作用，為後續T2SV的發展提供了新的思路。總體而言，這項工作為T2SV任務的關鍵瓶頸提供了有效的解決方案，有望推動文本到音視頻生成技術的進步。