风格重于实质：情感描述偏好评估的捷径审计

近期，一项针对多模态情感理解基准测试EmoPrefer的研究揭示了评估指标中的严重捷径偏差。该研究由Jiabing Yang等人开展，并于2026年7月提交至arXiv。EmoPrefer基准测试（在MER2026 MER-Prefer赛道中使用）假设，预测模型生成的优选情感描述需要基于对视频内容的跨模态理解。然而，研究者通过一系列内容无关探针（content-blind probes）发现，实际情况远非如此。

研究团队构建了一个极其简单的逻辑回归模型，仅使用两个特征：描述文本的长度和生成该描述模型的标识（generator identity）。该模型完全不处理文本、视频或音频内容。令人震惊的是，这个简单模型在EmoPrefer-V2数据集上取得了65.8%的加权平均F1值（WAF），与经过LoRA微调的70亿参数文本和音视频判断模型的66.8% WAF表现几乎相同。这意味着，当前的评估分数可能更多地依赖于表面风格特征，而非真正的视频理解能力。

进一步分析揭示，生成器身份可以从描述文本中以高达99.5%的准确率恢复。在EmoPrefer中，每个评估对总是对比两个不同的生成器，而人类偏好标签与基于生成器胜率先验（per-generator win-rate prior）的一致性高达66%。更令人担忧的是，当人类标签与该先验冲突时，训练后的判断模型仍然在63%到80%的案例中遵循风格先验，而不是基于视频内容做出判断。即使在长度匹配的子集上消除冗长性偏差后，各种媒体配置（文本、视频、音频）也未能带来统计显著的改进。此外，研究采用了一种受ODIN启发的诊断方法，将风格捷径解耦，结果发现内容判断头的表现近乎随机机会水平。

这些发现并非表明人类偏好本身是风格化的，或者描述中不含情感信息。相反，它们证明了当前的评估分数可以在完全不验证描述与视频是否匹配的情况下达到。研究者因此提出了一系列改进建议：采用源平衡配对（确保不同生成器的描述在统计上平衡）、严格长度控制（消除长度偏差）、反刻板印象分片报告（counter-stereotypical sliced reporting）以及多标注者共识。代码已在GitHub上开源。这项研究对多模态情感理解领域的评估方法提出了严峻挑战，并指明了未来改进的方向。