AffectFlow-DINO是一種創新的多工情感估計系統,專門為第11屆ABAW挑戰賽設計。該系統透過引入條件整流流頭部模型,擴充套件了傳統的確定性架構,從而能夠有效處理野外場景中面部行為的內在模糊性。傳統方法通常只輸出單一的情感預測值,而AffectFlow-DINO則學習一個條件生成分佈,利用蒙特卡洛取樣實現不確定性感知的一對多預測。這一設計使得模型能夠更好地反映真實世界中情感表達的多樣性和不確定性。
該系統能夠從靜態面部影像中同時完成多項任務:連續效價-喚醒度的迴歸估計、八種基本面部表情(快樂、悲傷、憤怒、恐懼、厭惡、驚訝、輕蔑、中性)的分類識別,以及十二個面部動作單元的檢測。其基礎架構採用凍結的DINOv3 ViT-S/16骨幹網路,該網路在大量影像資料上預訓練,能夠提取豐富的面部特徵。透過大量的消融研究,研究團隊發現整流流解碼方法在確定性預測上始終優於傳統方式,尤其是在效價-喚醒度估計任務上,一致性相關係數(CCC-V)提升了0.058。
此外,研究中提出了一種後驗閾值校準技術,能夠在不需要重新訓練的情況下有效恢復嚴重不平衡的罕見類別的效能。例如,恐懼表情的識別準確率從3.8%大幅提升至33.1%。結合骨幹網路微調和流重調優,最終模型在綜合指標P_MTL上達到了1.177,大幅超越了官方挑戰基線0.45。這項工作為情感計算領域提供了一種新的不確定性建模思路,有望推動更準確、更魯棒的面部行為分析系統的發展。該論文已提交至arXiv,編號2607.13250,作者包括Salah Eddine Bekhouche等四人。