マルチモーダル感情理解のベンチマークであるEmoPreferの評価指標に潜在的なバイアスが存在することが、新たな研究で明らかになった。このベンチマークは、モデルが生成した感情記述の選好予測には、ビデオのクロスモーダル理解が必要であると仮定している。しかし、研究者らは系統的な近道監査を実施し、実際にはそうでないことを示した。
研究チームは、テキスト、ビデオ、音声を一切処理せず、記述の長さと生成元IDのみを使用した単純なロジスティック回帰モデルを構築した。驚くべきことに、このモデルはEmoPrefer-V2データセットにおいて65.8%の加重平均F1値（WAF）を達成し、LoRAで微調整された70億パラメータのテキストおよび音声・映像判定モデル（66.8% WAF）と同等の性能を示した。この結果は、現在の評価指標が真のビデオ理解ではなく、表面的なスタイル特徴に依存している可能性を示唆している。
さらに分析を進めたところ、生成元IDは記述テキストから99.5%の精度で復元可能であった。EmoPreferでは各候補ペアが常に異なる2つの生成元を比較しており、人間の選好ラベルは生成元別勝率事前分布と66%のペアで一致した。ラベルが事前分布と矛盾する場合でも、訓練された判定モデルは63～80%のケースでスタイル事前分布に従った。長さを一致させたサブセットで冗長性バイアスを排除しても、各種メディア構成は統計的に有意な改善を示さなかった。
これらの発見は、人間の選好が本質的にスタイリスティックであるとか、記述に感情情報が含まれていないということを意味するものではない。むしろ、現在のスコアがビデオに対する記述の検証なしに達成可能であることを示している。今後、クロス生成元評価では、ソースバランスのとれたペアリング、厳密な長さ制御、反ステレオタイプの区分報告、複数アノテーターによるコンセンサスなどが推奨される。