本研究聚焦于文本到声音视频生成（T2SV）任务，旨在从文本描述生成带有同步音频的视频，并使两种模态（视频和音频）与文本条件对齐。尽管在联合音视频训练方面取得了进展，但仍面临两个关键挑战：其一，文本条件成为瓶颈——共享字幕（即视频和音频使用同一段文本描述）会导致模态干扰，而且训练时所使用的密集详细字幕与推理时用户输入的简洁提示之间存在显著差距；其二，跨模态特征交互的最佳融合机制尚不明确。
为应对第一个挑战，论文提出交叉参考重写器（Cross-Referential Rewriter，CRR）字幕框架。这是一个双智能体流水线：首先，语义检查器（Semantic Checker）从原始共享字幕中提取基于语义的锚点，即关键概念和实体；然后，跨模态重写器（Cross-Modal Rewriter）利用这些锚点生成解耦的字幕对——分别针对视频（TV）和音频（TA），从而消除模态干扰，并弥补训练与推理之间的文本风格差距。这一创新方法通过分离不同模态的文本条件，有效避免了原先共享字幕带来的混淆，使得模型能够更清晰地学习每个模态的特征。
该研究由中国人民大学和苹果公司的研究者合作完成，论文于2026年7月发表。作者包括关凯斯、王希华、赖正峰、程鑫、张鹏、刘晓江、宋瑞华和曹萌。除了CRR框架，研究还探讨了大规模图像-字幕数据在多模态基础模型预训练中的作用，为后续T2SV的发展提供了新的思路。总体而言，这项工作为T2SV任务的关键瓶颈提供了有效的解决方案，有望推动文本到音视频生成技术的进步。