跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

基于证据校验的多模态对话情绪推理智能体方法

文章摘要

该论文提出一种智能体框架,通过模态感知智能体、整合智能体与基于证据的校验阶段实现可追溯的多模态情绪推理,并利用定向提示补丁在不更新模型权重的情况下提升多个MLLM在MER2025数据集上的表现。

来源arXiv Computational Linguistics作者: Elyas Rashno, Farhana Zulkernine
基于证据校验的多模态对话情绪推理智能体方法
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

基于大型语言模型的多模态情绪推理系统在标准基准上表现良好,但通过指令调优进一步提升性能往往计算成本高昂。由冻结模型构建的智能体管道可以避免这一成本,却带来另一个难题:当预测错误时,系统必须识别是哪个智能体或哪个阶段导致了错误。Elyas Rashno和Farhana Zulkernine在论文中提出了一种用于可追溯多模态情绪推理与提示空间适应的智能体框架,试图同时解决性能提升与错误归因两个问题。

该框架首先由模态特定的感知智能体分别分析视觉、声学和词汇输入,并将带有证据引用的观察结果发布到一个共享板上。随后,整合智能体将这些观察与检索到的多模态示例结合,生成情绪描述、标签集合以及支持性引用。在最终输出确定之前,一个多模态大语言模型批评者可以要求进行一次修订。这一设计使推理过程具有可追溯性,每个结论都能回溯到具体的观察和证据。

对于不正确的预测,系统设有独立的基于证据的校验阶段。该阶段先执行确定性检查,验证所引用的证据和参考是否有效;再执行蕴含检查,判断最终论断是否得到这些证据的支持。检测到的失败会按责任组件和失败类型进行分组,转化为有针对性的提示补丁,并且只有在留出集上通过验证后才会被接受。这样,系统便能在不更新模型权重的情况下调整智能体提示。

在MER2025数据集上的实验表明,定向提示适应在四个不同规模的多模态大语言模型上均优于冻结的静态管道,参数范围从20亿到380亿。这四个模型分别是VideoLLaMA3-2B、Phi-3.5-vision-instruct、Qwen2.5-VL-7B-Instruct和InternVL2.5-38B。与不加区分的反思基线相比,该方法在每个模型上达到或超过其表现。根据骨干模型的不同,F-score提升了0.6至2.2分,其中Qwen2.5-VL-7B从52.3提升到54.5。

该论文被NeurIPS 2026实时多模态对话AI研讨会(ReMuCAI)接收,会议地点为法国巴黎。论文涉及计算与语言、人工智能、多媒体以及图像与视频处理等方向,arXiv编号为2610.31685。

展开要点与分析

文章情报

工程师进阶

要点

  • 模态特定感知智能体分别处理视觉、声学和词汇输入,并将带证据引用的观察发布到共享板。
  • 基于证据的校验阶段使用确定性检查和蕴含检查定位错误,并将失败按组件和类型分组生成定向提示补丁。
  • 在MER2025数据集上,该方法在四个MLLM(2B至38B参数)上均优于冻结静态管道,F-score提升0.6至2.2分。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。