跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

AffectFlow-DINO:基於條件整流流的不確定性感知多工情感估計

文章摘要

本文提出了AffectFlow-DINO,一種用於第11屆ABAW挑戰賽的多工學習系統。它透過條件整流流頭部模型來模擬自然場景下面部行為的固有歧義,實現不確定性感知的一對多預測。系統聯合估計連續效價-喚醒度、分類八種面部表情並檢測十二個動作單元。實驗表明,整流流解碼持續改進確定性預測,後驗閾值校準有效恢復罕見類別的效能,最終模型顯著超越官方基線。

來源arXiv Computer Vision作者: Salah Eddine Bekhouche, Abdellah Zakaria Sellam, Fadi Dornaika, Abdenour Hadid
AffectFlow-DINO:基於條件整流流的不確定性感知多工情感估計
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

AffectFlow-DINO是一種創新的多工情感估計系統,專門為第11屆ABAW挑戰賽設計。該系統透過引入條件整流流頭部模型,擴充套件了傳統的確定性架構,從而能夠有效處理野外場景中面部行為的內在模糊性。傳統方法通常只輸出單一的情感預測值,而AffectFlow-DINO則學習一個條件生成分佈,利用蒙特卡洛取樣實現不確定性感知的一對多預測。這一設計使得模型能夠更好地反映真實世界中情感表達的多樣性和不確定性。

該系統能夠從靜態面部影像中同時完成多項任務:連續效價-喚醒度的迴歸估計、八種基本面部表情(快樂、悲傷、憤怒、恐懼、厭惡、驚訝、輕蔑、中性)的分類識別,以及十二個面部動作單元的檢測。其基礎架構採用凍結的DINOv3 ViT-S/16骨幹網路,該網路在大量影像資料上預訓練,能夠提取豐富的面部特徵。透過大量的消融研究,研究團隊發現整流流解碼方法在確定性預測上始終優於傳統方式,尤其是在效價-喚醒度估計任務上,一致性相關係數(CCC-V)提升了0.058。

此外,研究中提出了一種後驗閾值校準技術,能夠在不需要重新訓練的情況下有效恢復嚴重不平衡的罕見類別的效能。例如,恐懼表情的識別準確率從3.8%大幅提升至33.1%。結合骨幹網路微調和流重調優,最終模型在綜合指標P_MTL上達到了1.177,大幅超越了官方挑戰基線0.45。這項工作為情感計算領域提供了一種新的不確定性建模思路,有望推動更準確、更魯棒的面部行為分析系統的發展。該論文已提交至arXiv,編號2607.13250,作者包括Salah Eddine Bekhouche等四人。

展開要點與分析

文章情報

工程師進階

要點

  • AffectFlow-DINO採用條件整流流生成分佈,替代單點估計,實現不確定性感知。
  • 系統在多工(效價-喚醒度、表情分類、動作單元檢測)上均取得提升。
  • 後驗閾值校準無需重新訓練即可將恐懼表情準確率從3.8%提升至33.1%。
  • 最終模型綜合得分P_MTL=1.177,遠超基線0.45。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。