AffectFlow-DINO是一种创新的多任务情感估计系统,专门为第11届ABAW挑战赛设计。该系统通过引入条件整流流头部模型,扩展了传统的确定性架构,从而能够有效处理野外场景中面部行为的内在模糊性。传统方法通常只输出单一的情感预测值,而AffectFlow-DINO则学习一个条件生成分布,利用蒙特卡洛采样实现不确定性感知的一对多预测。这一设计使得模型能够更好地反映真实世界中情感表达的多样性和不确定性。
该系统能够从静态面部图像中同时完成多项任务:连续效价-唤醒度的回归估计、八种基本面部表情(快乐、悲伤、愤怒、恐惧、厌恶、惊讶、轻蔑、中性)的分类识别,以及十二个面部动作单元的检测。其基础架构采用冻结的DINOv3 ViT-S/16骨干网络,该网络在大量图像数据上预训练,能够提取丰富的面部特征。通过大量的消融研究,研究团队发现整流流解码方法在确定性预测上始终优于传统方式,尤其是在效价-唤醒度估计任务上,一致性相关系数(CCC-V)提升了0.058。
此外,研究中提出了一种后验阈值校准技术,能够在不需要重新训练的情况下有效恢复严重不平衡的罕见类别的性能。例如,恐惧表情的识别准确率从3.8%大幅提升至33.1%。结合骨干网络微调和流重调优,最终模型在综合指标P_MTL上达到了1.177,大幅超越了官方挑战基线0.45。这项工作为情感计算领域提供了一种新的不确定性建模思路,有望推动更准确、更鲁棒的面部行为分析系统的发展。该论文已提交至arXiv,编号2607.13250,作者包括Salah Eddine Bekhouche等四人。