基於大型語言模型的多模態情緒推理系統在標準基準上表現良好,但透過指令調優進一步提升效能往往計算成本高昂。由凍結模型構建的智慧體管道可以避免這一成本,卻帶來另一個難題:當預測錯誤時,系統必須識別是哪個智慧體或哪個階段導致了錯誤。Elyas Rashno和Farhana Zulkernine在論文中提出了一種用於可追溯多模態情緒推理與提示空間適應的智慧體框架,試圖同時解決效能提升與錯誤歸因兩個問題。
該框架首先由模態特定的感知智慧體分別分析視覺、聲學和詞彙輸入,並將帶有證據引用的觀察結果釋出到一個共享板上。隨後,整合智慧體將這些觀察與檢索到的多模態示例結合,生成情緒描述、標籤集合以及支援性引用。在最終輸出確定之前,一個多模態大語言模型批評者可以要求進行一次修訂。這一設計使推理過程具有可追溯性,每個結論都能回溯到具體的觀察和證據。
對於不正確的預測,系統設有獨立的基於證據的校驗階段。該階段先執行確定性檢查,驗證所引用的證據和參考是否有效;再執行蘊含檢查,判斷最終論斷是否得到這些證據的支援。檢測到的失敗會按責任元件和失敗型別進行分組,轉化為有針對性的提示補丁,並且只有在留出集上透過驗證後才會被接受。這樣,系統便能在不更新模型權重的情況下調整智慧體提示。
在MER2025資料集上的實驗表明,定向提示適應在四個不同規模的多模態大語言模型上均優於凍結的靜態管道,引數範圍從20億到380億。這四個模型分別是VideoLLaMA3-2B、Phi-3.5-vision-instruct、Qwen2.5-VL-7B-Instruct和InternVL2.5-38B。與不加區分的反思基線相比,該方法在每個模型上達到或超過其表現。根據骨幹模型的不同,F-score提升了0.6至2.2分,其中Qwen2.5-VL-7B從52.3提升到54.5。
該論文被NeurIPS 2026即時多模態對話AI研討會(ReMuCAI)接收,會議地點為法國巴黎。論文涉及計算與語言、人工智慧、多媒體以及影像與影片處理等方向,arXiv編號為2610.31685。