预训练的视频大语言模型在视觉推理任务上表现出色，但一旦视频附带音频、深度图或密集时间证据等辅助流，现有模型往往力不从心。来自 arXiv 的最新论文《并非所有模态都平等：面向多模态视频的指令感知门控》（Not All Modalities Are Equal: Instruction-Aware Gating for Multimodal Videos）指出，问题的根源在于“统一融合”策略会引发模态干扰——无关通道可能分散模型注意力，导致理解偏差。该论文由 Bonan Ding 等七位作者完成，于 2026 年 5 月 25 日提交，归类于计算机视觉与模式识别（cs.CV），全文共 19 页、8 幅图、7 张表，属于预印本。
为了解决这一难题，研究团队提出了一个统一的多模态视频理解框架 UniMVU。其核心思路是：不再对所有模态一视同仁，而是根据文本指令自适应地决定各模态的重要性。具体而言，UniMVU 通过两级动态门控实现指令感知融合。第一级是模态内门控（inner-modality gates），用于突出每个模态内部的关键显著区域；第二级是模态级门控（modality-level gates），对整个模态流进行重新加权。两级门控都以文本指令为条件，从而动态平衡视频、音频、深度图或其他任意模态输入之间的重要性。
在架构上，UniMVU 将跨模态自注意力与指令驱动的模态内门控模块相结合，并引入带有控制令牌的模态级门控模块。对于时间对齐的多个流，研究团队还采用了“由快到慢”的融合方案（fast-to-slow fusion），以减少冗余信息。这种设计使得框架能够扩展到多种模态，而无需依赖手工设计的融合规则，为多模态视频理解提供了一个简单统一的配方。
实验方面，作者在六个基准上验证了 UniMVU 的有效性，包括 AVQA、AVSD、Music-AVQA、ScanQA、SQA3D 和 MVBench。结果显示，与静态融合基线相比，UniMVU 取得了持续提升，其中在 CIDEr 指标上的增益最高达到 13.5。这意味着模型在生成描述与回答质量上都有显著改善。
论文进一步的分析表明，门控机制学到的权重与人类可解释的模态相关性相一致，说明模型并非盲目地依赖某一通道，而是能够根据指令合理分配注意力。消融实验也分别验证了模态内门控与模态级门控各自的贡献。作者总结认为，UniMVU 为指令感知的多模态视频理解提供了一条可扩展、无需手工规则的统一路径，有望推动视频大语言模型在更复杂多流场景下的实际应用。