近期，一項針對多模態情感理解基準測試EmoPrefer的研究揭示了評估指標中的嚴重捷徑偏差。該研究由Jiabing Yang等人開展，並於2026年7月提交至arXiv。EmoPrefer基準測試（在MER2026 MER-Prefer賽道中使用）假設，預測模型生成的優選情感描述需要基於對影片內容的跨模態理解。然而，研究者透過一系列內容無關探針（content-blind probes）發現，實際情況遠非如此。
研究團隊構建了一個極其簡單的邏輯迴歸模型，僅使用兩個特徵：描述文本的長度和生成該描述模型的標識（generator identity）。該模型完全不處理文本、影片或音訊內容。令人震驚的是，這個簡單模型在EmoPrefer-V2資料集上取得了65.8%的加權平均F1值（WAF），與經過LoRA微調的70億引數文本和音影片判斷模型的66.8% WAF表現幾乎相同。這意味著，當前的評估分數可能更多地依賴於表面風格特徵，而非真正的影片理解能力。
進一步分析揭示，生成器身份可以從描述文本中以高達99.5%的準確率恢復。在EmoPrefer中，每個評估對總是對比兩個不同的生成器，而人類偏好標籤與基於生成器勝率先驗（per-generator win-rate prior）的一致性高達66%。更令人擔憂的是，當人類標籤與該先驗衝突時，訓練後的判斷模型仍然在63%到80%的案例中遵循風格先驗，而不是基於影片內容做出判斷。即使在長度匹配的子集上消除冗長性偏差後，各種媒體配置（文本、影片、音訊）也未能帶來統計顯著的改進。此外，研究採用了一種受ODIN啟發的診斷方法，將風格捷徑解耦，結果發現內容判斷頭的表現近乎隨機機會水平。
這些發現並非表明人類偏好本身是風格化的，或者描述中不含情感資訊。相反，它們證明了當前的評估分數可以在完全不驗證描述與影片是否匹配的情況下達到。研究者因此提出了一系列改進建議：採用源平衡配對（確保不同生成器的描述在統計上平衡）、嚴格長度控制（消除長度偏差）、反刻板印象分片報告（counter-stereotypical sliced reporting）以及多標註者共識。程式碼已在GitHub上開源。這項研究對多模態情感理解領域的評估方法提出了嚴峻挑戰，並指明瞭未來改進的方向。