跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

基於證據校驗的多模態對話情緒推理智慧體方法

文章摘要

該論文提出一種智慧體框架,透過模態感知智慧體、整合智慧體與基於證據的校驗階段實現可追溯的多模態情緒推理,並利用定向提示補丁在不更新模型權重的情況下提升多個MLLM在MER2025資料集上的表現。

來源arXiv Computational Linguistics作者: Elyas Rashno, Farhana Zulkernine
基於證據校驗的多模態對話情緒推理智慧體方法
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

基於大型語言模型的多模態情緒推理系統在標準基準上表現良好,但透過指令調優進一步提升效能往往計算成本高昂。由凍結模型構建的智慧體管道可以避免這一成本,卻帶來另一個難題:當預測錯誤時,系統必須識別是哪個智慧體或哪個階段導致了錯誤。Elyas Rashno和Farhana Zulkernine在論文中提出了一種用於可追溯多模態情緒推理與提示空間適應的智慧體框架,試圖同時解決效能提升與錯誤歸因兩個問題。

該框架首先由模態特定的感知智慧體分別分析視覺、聲學和詞彙輸入,並將帶有證據引用的觀察結果釋出到一個共享板上。隨後,整合智慧體將這些觀察與檢索到的多模態示例結合,生成情緒描述、標籤集合以及支援性引用。在最終輸出確定之前,一個多模態大語言模型批評者可以要求進行一次修訂。這一設計使推理過程具有可追溯性,每個結論都能回溯到具體的觀察和證據。

對於不正確的預測,系統設有獨立的基於證據的校驗階段。該階段先執行確定性檢查,驗證所引用的證據和參考是否有效;再執行蘊含檢查,判斷最終論斷是否得到這些證據的支援。檢測到的失敗會按責任元件和失敗型別進行分組,轉化為有針對性的提示補丁,並且只有在留出集上透過驗證後才會被接受。這樣,系統便能在不更新模型權重的情況下調整智慧體提示。

在MER2025資料集上的實驗表明,定向提示適應在四個不同規模的多模態大語言模型上均優於凍結的靜態管道,引數範圍從20億到380億。這四個模型分別是VideoLLaMA3-2B、Phi-3.5-vision-instruct、Qwen2.5-VL-7B-Instruct和InternVL2.5-38B。與不加區分的反思基線相比,該方法在每個模型上達到或超過其表現。根據骨幹模型的不同,F-score提升了0.6至2.2分,其中Qwen2.5-VL-7B從52.3提升到54.5。

該論文被NeurIPS 2026即時多模態對話AI研討會(ReMuCAI)接收,會議地點為法國巴黎。論文涉及計算與語言、人工智慧、多媒體以及影像與影片處理等方向,arXiv編號為2610.31685。

展開要點與分析

文章情報

工程師進階

要點

  • 模態特定感知智慧體分別處理視覺、聲學和詞彙輸入,並將帶證據引用的觀察釋出到共享板。
  • 基於證據的校驗階段使用確定性檢查和蘊含檢查定位錯誤,並將失敗按元件和型別分組生成定向提示補丁。
  • 在MER2025資料集上,該方法在四個MLLM(2B至38B引數)上均優於凍結靜態管道,F-score提升0.6至2.2分。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。