音頻-視覺説話人跟蹤是計算機視覺與語音處理交叉領域的一項重要任務，其目標是通過融合聽覺和視覺線索來定位並跟蹤正在説話的人，從而實現細粒度、以人為中心的場景理解。這種能力在許多實際應用中發揮着關鍵作用，例如智能視頻編輯、安防監控以及人機交互等。然而，現有的大多數數據集都侷限於簡單或同質的音視頻場景，並且標註較為粗糙。這種過度簡化的設置容易導致評估結果偏向於靜態的音視頻共現，而無法嚴格衡量模型在複雜動態場景中的魯棒時空建模和跨模態推理能力。
為了填補這一空白，研究人員提出了AVTrack——一個專門為動態真實世界場景設計的人為中心音視頻實例分割數據集。AVTrack引入了多樣且具有挑戰性的條件，包括攝像機運動、視覺遮擋以及説話人位置變化等。這些因素使得數據集更加貼近實際應用中的複雜環境。研究者對現有的代表性音視頻實例分割方法在AVTrack上進行了全面評估，結果揭示了顯著的性能下降，表明現有方法在面對複雜動態場景時存在嚴重不足。AVTrack因此成為了一個具有挑戰性的基準，用以推動魯棒的以人為中心音視頻場景理解技術的發展。
除了數據集本身，該工作還提供了一個簡單但有效的基線方法，以降低入門門檻並促進未來研究。該項目已被ICML 2026接收，相關代碼和數據集已在項目網站上公開（https://FudanCVL.github.io/AVTrack/）。AVTrack的發佈將為音頻-視覺跟蹤領域帶來新的研究方向，激勵研究者開發能夠應對真實世界複雜性的更魯棒模型。