基于大型语言模型的多模态情绪推理系统在标准基准上表现良好,但通过指令调优进一步提升性能往往计算成本高昂。由冻结模型构建的智能体管道可以避免这一成本,却带来另一个难题:当预测错误时,系统必须识别是哪个智能体或哪个阶段导致了错误。Elyas Rashno和Farhana Zulkernine在论文中提出了一种用于可追溯多模态情绪推理与提示空间适应的智能体框架,试图同时解决性能提升与错误归因两个问题。
该框架首先由模态特定的感知智能体分别分析视觉、声学和词汇输入,并将带有证据引用的观察结果发布到一个共享板上。随后,整合智能体将这些观察与检索到的多模态示例结合,生成情绪描述、标签集合以及支持性引用。在最终输出确定之前,一个多模态大语言模型批评者可以要求进行一次修订。这一设计使推理过程具有可追溯性,每个结论都能回溯到具体的观察和证据。
对于不正确的预测,系统设有独立的基于证据的校验阶段。该阶段先执行确定性检查,验证所引用的证据和参考是否有效;再执行蕴含检查,判断最终论断是否得到这些证据的支持。检测到的失败会按责任组件和失败类型进行分组,转化为有针对性的提示补丁,并且只有在留出集上通过验证后才会被接受。这样,系统便能在不更新模型权重的情况下调整智能体提示。
在MER2025数据集上的实验表明,定向提示适应在四个不同规模的多模态大语言模型上均优于冻结的静态管道,参数范围从20亿到380亿。这四个模型分别是VideoLLaMA3-2B、Phi-3.5-vision-instruct、Qwen2.5-VL-7B-Instruct和InternVL2.5-38B。与不加区分的反思基线相比,该方法在每个模型上达到或超过其表现。根据骨干模型的不同,F-score提升了0.6至2.2分,其中Qwen2.5-VL-7B从52.3提升到54.5。
该论文被NeurIPS 2026实时多模态对话AI研讨会(ReMuCAI)接收,会议地点为法国巴黎。论文涉及计算与语言、人工智能、多媒体以及图像与视频处理等方向,arXiv编号为2610.31685。