大規模言語モデルに基づくマルチモーダル感情推論システムは標準ベンチマークで高い性能を示すが、指示チューニングによる改善は計算コストが高い。凍結モデルで構築されたエージェントパイプラインはこのコストを回避できる一方、予測が誤った際にどのエージェントや段階がエラーの原因かを特定する必要があるという新たな課題を生む。Elyas RashnoとFarhana Zulkernineによる本論文は、追跡可能なマルチモーダル感情推論とプロンプト空間適応のためのエージェントフレームワークを提案し、性能向上とエラー帰属の両立を目指す。
このフレームワークでは、まずモダリティ別の知覚エージェントが視覚・音響・語彙の入力をそれぞれ分析し、証拠を引用した観察結果を共有ボードに投稿する。次に統合エージェントがこれらの観察を検索されたマルチモーダル例と組み合わせ、感情記述、ラベル集合、および支持引用を生成する。最終出力の確定前に、MLLM批評エージェントが一度だけ修正を要求できる。この設計により、推論プロセスは追跡可能となり、各結論を具体的な観察と証拠に遡ることができる。
誤った予測に対しては、独立した証拠に基づく検証段階が設けられている。この段階ではまず決定論的チェックを実行し、引用された証拠と参照が有効であるかを検証する。続いて含意チェックにより、最終的な主張がその証拠によって支持されているかを判断する。検出された失敗は責任コンポーネントと失敗タイプごとにグループ化され、標的型プロンプトパッチに変換される。パッチはホールドアウトセットで検証された後にのみ受け入れられるため、モデルの重みを更新することなくエージェントのプロンプトを適応させることができる。
MER2025データセットでの実験では、標的型プロンプト適応が20億から380億パラメータの4つのマルチモーダル大規模言語モデルすべてにおいて凍結静的パイプラインを上回った。対象モデルはVideoLLaMA3-2B、Phi-3.5-vision-instruct、Qwen2.5-VL-7B-Instruct、InternVL2.5-38Bである。区別のないリフレクションベースラインと比較しても、各モデルで同等以上の性能を示す。バックボーンに応じてFスコアは0.6～2.2ポイント向上し、Qwen2.5-VL-7Bでは52.3から54.5へ改善した。
本論文はNeurIPS 2026リアルタイムマルチモーダル会話AIワークショップ（ReMuCAI、フランス・パリ）に採択されている。計算と言語、人工知能、マルチメディア、画像・動画処理などの分野に関連し、arXiv番号は2610.31685である。