基於大型語言模型的多模態情緒推理系統在標準基準上表現良好,但通過指令調優進一步提升性能往往計算成本高昂。由凍結模型構建的智能體管道可以避免這一成本,卻帶來另一個難題:當預測錯誤時,系統必須識別是哪個智能體或哪個階段導致了錯誤。Elyas Rashno和Farhana Zulkernine在論文中提出了一種用於可追溯多模態情緒推理與提示空間適應的智能體框架,試圖同時解決性能提升與錯誤歸因兩個問題。
該框架首先由模態特定的感知智能體分別分析視覺、聲學和詞彙輸入,並將帶有證據引用的觀察結果發佈到一個共享板上。隨後,整合智能體將這些觀察與檢索到的多模態示例結合,生成情緒描述、標籤集合以及支持性引用。在最終輸出確定之前,一個多模態大語言模型批評者可以要求進行一次修訂。這一設計使推理過程具有可追溯性,每個結論都能回溯到具體的觀察和證據。
對於不正確的預測,系統設有獨立的基於證據的校驗階段。該階段先執行確定性檢查,驗證所引用的證據和參考是否有效;再執行藴含檢查,判斷最終論斷是否得到這些證據的支持。檢測到的失敗會按責任組件和失敗類型進行分組,轉化為有針對性的提示補丁,並且只有在留出集上通過驗證後才會被接受。這樣,系統便能在不更新模型權重的情況下調整智能體提示。
在MER2025數據集上的實驗表明,定向提示適應在四個不同規模的多模態大語言模型上均優於凍結的靜態管道,參數範圍從20億到380億。這四個模型分別是VideoLLaMA3-2B、Phi-3.5-vision-instruct、Qwen2.5-VL-7B-Instruct和InternVL2.5-38B。與不加區分的反思基線相比,該方法在每個模型上達到或超過其表現。根據骨幹模型的不同,F-score提升了0.6至2.2分,其中Qwen2.5-VL-7B從52.3提升到54.5。
該論文被NeurIPS 2026實時多模態對話AI研討會(ReMuCAI)接收,會議地點為法國巴黎。論文涉及計算與語言、人工智能、多媒體以及圖像與視頻處理等方向,arXiv編號為2610.31685。