跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

AffectFlow-DINO:基于条件整流流的不确定性感知多任务情感估计

文章摘要

本文提出了AffectFlow-DINO,一种用于第11届ABAW挑战赛的多任务学习系统。它通过条件整流流头部模型来模拟自然场景下面部行为的固有歧义,实现不确定性感知的一对多预测。系统联合估计连续效价-唤醒度、分类八种面部表情并检测十二个动作单元。实验表明,整流流解码持续改进确定性预测,后验阈值校准有效恢复罕见类别的性能,最终模型显著超越官方基线。

来源arXiv Computer Vision作者: Salah Eddine Bekhouche, Abdellah Zakaria Sellam, Fadi Dornaika, Abdenour Hadid
AffectFlow-DINO:基于条件整流流的不确定性感知多任务情感估计
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

AffectFlow-DINO是一种创新的多任务情感估计系统,专门为第11届ABAW挑战赛设计。该系统通过引入条件整流流头部模型,扩展了传统的确定性架构,从而能够有效处理野外场景中面部行为的内在模糊性。传统方法通常只输出单一的情感预测值,而AffectFlow-DINO则学习一个条件生成分布,利用蒙特卡洛采样实现不确定性感知的一对多预测。这一设计使得模型能够更好地反映真实世界中情感表达的多样性和不确定性。

该系统能够从静态面部图像中同时完成多项任务:连续效价-唤醒度的回归估计、八种基本面部表情(快乐、悲伤、愤怒、恐惧、厌恶、惊讶、轻蔑、中性)的分类识别,以及十二个面部动作单元的检测。其基础架构采用冻结的DINOv3 ViT-S/16骨干网络,该网络在大量图像数据上预训练,能够提取丰富的面部特征。通过大量的消融研究,研究团队发现整流流解码方法在确定性预测上始终优于传统方式,尤其是在效价-唤醒度估计任务上,一致性相关系数(CCC-V)提升了0.058。

此外,研究中提出了一种后验阈值校准技术,能够在不需要重新训练的情况下有效恢复严重不平衡的罕见类别的性能。例如,恐惧表情的识别准确率从3.8%大幅提升至33.1%。结合骨干网络微调和流重调优,最终模型在综合指标P_MTL上达到了1.177,大幅超越了官方挑战基线0.45。这项工作为情感计算领域提供了一种新的不确定性建模思路,有望推动更准确、更鲁棒的面部行为分析系统的发展。该论文已提交至arXiv,编号2607.13250,作者包括Salah Eddine Bekhouche等四人。

展开要点与分析

文章情报

工程师进阶

要点

  • AffectFlow-DINO采用条件整流流生成分布,替代单点估计,实现不确定性感知。
  • 系统在多任务(效价-唤醒度、表情分类、动作单元检测)上均取得提升。
  • 后验阈值校准无需重新训练即可将恐惧表情准确率从3.8%提升至33.1%。
  • 最终模型综合得分P_MTL=1.177,远超基线0.45。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。