复旦大学计算机视觉实验室的研究团队于2026年6月1日提交了一篇题为《AVTrack: Audio-Visual Tracking in Human-centric Complex Scenes》的论文，该论文已被ICML 2026接收，全文共19页、含10幅图。论文第一作者为Yaoting Wang，另有三位合作者。研究聚焦于音视频说话人跟踪这一任务，即利用听觉与视觉线索来定位并追踪活跃说话者，从而实现对以人为中心的场景进行细粒度理解。这一能力在智能视频编辑、监控安防和人机交互等现实应用中不可或缺。
然而，作者指出，现有数据集大多局限于简单或同质的音视频场景，且标注较为粗糙。这种过度简化的设定会使评估偏向静态的音视频共现关系，而无法严格检验模型在复杂动态场景中的鲁棒时空建模与跨模态推理能力。换句话说，当前基准难以真实反映算法在现实世界中的表现，容易高估模型的泛化水平。
为弥补这一缺陷，研究团队推出了AVTrack——一个面向动态现实场景的以人为中心音视频实例分割（AVIS）数据集。该数据集特意引入了多种具有挑战性的条件，包括摄像机运动、视觉遮挡以及人物位置变化等。这些因素使得跟踪任务不再依赖简单的音视频同步出现，而是要求模型具备持续跟踪和跨模态对齐的能力。
论文对代表性的AVIS方法在AVTrack上进行了评估，结果显示这些方法的性能出现显著下降。这一结果确立了AVTrack作为复杂环境下鲁棒以人为中心音视频场景理解基准的挑战性地位，也说明现有方法在应对动态干扰时仍有较大提升空间。
为促进后续研究，作者还提供了一个简单而有效的基线方法。该基线在AVTrack上能够取得一定效果，为社区提供了一个可复现的起点。论文的项目网站已上线，提供了更多细节和资源。整体而言，AVTrack的提出填补了音视频跟踪领域在复杂动态场景基准上的空白，有望推动更鲁棒、更贴近实际应用的跨模态跟踪技术发展。