无监督视频对象中心学习旨在在没有人工标注的情况下,将动态场景分解为持久、对象级别的表示。这种能力对于视频理解、机器人交互等应用至关重要。然而,现有的基于槽(slot)的方法在快速运动、部分遮挡等挑战性场景中,往往难以维持稳定的对象身份。这是因为传统方法将每帧的外观信息和跨帧的身份信息都编码到同一个槽向量中,这导致了重建目标与时间一致性目标之间的根本冲突:重建需要对外观的瞬时变化敏感,而时间一致性则需要对这些变化保持不变。这种冲突会引发“槽交换”现象,即不同对象的槽在帧之间发生互换,破坏了表示的连贯性。此外,槽注意力中使用的令牌重归一化(token renormalization)可能会放大那些注意力较弱的槽,使它们吸收其他对象的令牌,进一步破坏槽与对象之间的对应关系。
为了解决这些问题,本文提出了双状态槽注意力(Dual-State Slot Attention, DSSA),一个完全自监督的框架。DSSA的核心思想是将每个槽分解为两个独立的状态:局部状态(local state)用于编码每帧的外观信息,身份状态(identity state)用于编码随时间稳定的对象身份信息。通过这种分离,重建目标可以使用局部状态进行优化,而时间一致性目标则专注于身份状态,从而避免了目标冲突。具体而言,身份状态通过一个学习到的循环转换(recurrent transition)进行更新,该转换充当了一个时间滤波器,平滑地整合来自局部状态的信息。同时,论文引入了一种竞争调制聚合(Competition-Modulated Aggregation, CMA)机制,该机制会降低弱匹配槽的更新权重,防止它们从其他对象中吸收令牌,从而增强了槽与对象之间的对应稳定性。
为了验证DSSA的有效性,研究团队在多个基准数据集上进行了实验,包括MOVi-C、MOVi-D和YouTube-VIS。实验结果表明,DSSA在分割质量(如IoU、F1分数)和时间一致性(如持续跟踪同一对象的能力)方面, consistently 优于先前的方法。此外,在下游任务中,如对象识别和视频动态预测,DSSA也展现出了更强的性能。这些结果充分表明,通过显式分离开和身份,DSSA能够学习到更鲁棒、更连贯的视频对象表示。论文的代码和预训练模型将在论文被接收后公开发布,这将为相关领域的研究者提供宝贵的资源。