本研究は、テキストから同期音声付き動画を生成するT2SV（Text-to-Sounding-Video）タスクに焦点を当てています。このタスクでは、テキスト記述から動画と音声の両方を生成し、両モダリティをテキスト条件に整合させる必要があります。これまでの共同音声-動画訓練の進展にもかかわらず、二つの重要な課題が残っています。
第一に、テキスト条件がボトルネックとなっています。訓練時には詳細で密度の高いキャプションが用いられる一方、推論時にはユーザーが簡潔なプロンプトを入力するため、このギャップが性能を制限します。さらに、動画と音声で同一のキャプションを共有すると、モーダル干渉（modal interference）が発生し、各モダリティの学習を妨げます。第二に、クロスモーダル特徴を融合する最適なメカニズムが未解明です。
最初の課題を解決するため、論文ではクロス参照リライター（Cross-Referential Rewriter, CRR）フレームワークを提案しています。これは二段階のエージェントパイプラインです。まず意味チェッカー（Semantic Checker）が元の共有キャプションから意味的アンカー（Semantic Anchors）を抽出します。次にクロスモーダルリライター（Cross-Modal Rewriter）がそのアンカーを基に、動画用（TV）と音声用（TA）の分離されたキャプションペアを生成します。これにより、モーダル干渉が排除され、訓練-推論ギャップが埋められます。
この研究は、中国人民大学とAppleの研究者による共同成果であり、2026年7月に発表されました。著者はKaisi Guan、Xihua Wang、Zhengfeng Lai、Xin Cheng、Peng Zhang、Xiaojiang Liu、Ruihua Song、Meng Caoです。CRRフレームワークに加え、大規模画像-キャプションデータのマルチモーダル基礎モデル事前学習における役割も再検討されており、今後のT2SV発展に新たな方向性を示しています。