这篇题为《Tackling Multimodal Learning Challenges with Mixture-of-Expert: A Survey》的综述论文由 Liangwei Nathan Zheng 领衔,连同另外四位作者共同完成,已于 2026 年 5 月 22 日提交至 arXiv,编号为 arXiv:2605.27431v1,归类于机器学习(cs.LG)与人工智能(cs.AI)两个学科方向。论文摘要被收录在 arXiv 的“new”公告类型中。根据作者在论文注释中的说明,该综述已被 IJCAI 2026 接收,录用结果于 2026 年 4 月 30 日前公布;由于找不到合适的地方提交录用邮件,作者将录用邮件与论文的 LaTeX 源文件一并上传。提交版本大小为 232 KB,提交时间为 2026 年 5 月 22 日 05:01:21 UTC,DOI 经由 DataCite 分配(注册尚待完成)。
论文关注的核心问题是:混合专家(Mixture-of-Experts,MoE)究竟如何有效解决多模态学习中的挑战。作者指出,MoE 与多模态学习在结构上天然契合,是一个可扩展的框架,在多种模态和任务上展现出较强的适应性。然而,尽管相关研究不断取得成功,学界仍缺乏一篇全面、系统地梳理 MoE 方法如何应对多模态难题的综述。现有的综述往往只单独评估多模态学习或单独评估 MoE,且多从方法分类的角度出发,忽视了二者之间独特的相互作用。这篇综述正是为填补这一空白而写。
作者从三个关键视角组织全文。第一,把 MoE 视为高效的多模态引擎:通过将计算成本与参数规模增长解耦,并借助选择性的专家激活来缓解模态冗余,从而支撑可扩展的多模态建模。第二,把 MoE 视为多模态表示学习器:整合来自多个专家、彼此互补的多样化意见知识,以丰富对齐与交互层面的表示。第三,把 MoE 视为多模态适配器:提供模块化且灵活的机制,用于建模模态不均衡、模态缺失等不理想的数据场景。
在广泛梳理文献的基础上,作者识别出若干关键研究空白,包括可解释的路由机制、专家之间的通信、模态集成以及终身多模态学习等方向。作者将这篇综述定位为未来研究的基础,指向可解释且可持续的多模态混合专家系统。论文提供了 PDF、实验性 HTML 以及 TeX 源码等多种访问形式,并附带参考文献与引用工具链接。