跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

双状态槽注意力:解耦外观与身份的视频对象中心学习

文章摘要

本文提出双状态槽注意力(DSSA),一种完全自监督的视频对象中心学习框架。DSSA将每个槽分解为局部状态(每帧外观)和身份状态(时间稳定对象信息),通过竞争调制聚合(CMA)减少弱匹配槽的虚假更新,从而解决现有方法中因单一槽向量编码外观与身份导致的槽交换问题。实验表明,DSSA在MOVi-C、MOVi-D和YouTube-VIS上持续提升了分割质量和时间一致性,并在下游任务中表现更优。

来源arXiv Computer Vision作者: Sieu Tran, Duc Nguyen, Hao Vo, Khoa Vo, Ngan Le
双状态槽注意力:解耦外观与身份的视频对象中心学习
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

无监督视频对象中心学习旨在在没有人工标注的情况下,将动态场景分解为持久、对象级别的表示。这种能力对于视频理解、机器人交互等应用至关重要。然而,现有的基于槽(slot)的方法在快速运动、部分遮挡等挑战性场景中,往往难以维持稳定的对象身份。这是因为传统方法将每帧的外观信息和跨帧的身份信息都编码到同一个槽向量中,这导致了重建目标与时间一致性目标之间的根本冲突:重建需要对外观的瞬时变化敏感,而时间一致性则需要对这些变化保持不变。这种冲突会引发“槽交换”现象,即不同对象的槽在帧之间发生互换,破坏了表示的连贯性。此外,槽注意力中使用的令牌重归一化(token renormalization)可能会放大那些注意力较弱的槽,使它们吸收其他对象的令牌,进一步破坏槽与对象之间的对应关系。

为了解决这些问题,本文提出了双状态槽注意力(Dual-State Slot Attention, DSSA),一个完全自监督的框架。DSSA的核心思想是将每个槽分解为两个独立的状态:局部状态(local state)用于编码每帧的外观信息,身份状态(identity state)用于编码随时间稳定的对象身份信息。通过这种分离,重建目标可以使用局部状态进行优化,而时间一致性目标则专注于身份状态,从而避免了目标冲突。具体而言,身份状态通过一个学习到的循环转换(recurrent transition)进行更新,该转换充当了一个时间滤波器,平滑地整合来自局部状态的信息。同时,论文引入了一种竞争调制聚合(Competition-Modulated Aggregation, CMA)机制,该机制会降低弱匹配槽的更新权重,防止它们从其他对象中吸收令牌,从而增强了槽与对象之间的对应稳定性。

为了验证DSSA的有效性,研究团队在多个基准数据集上进行了实验,包括MOVi-C、MOVi-D和YouTube-VIS。实验结果表明,DSSA在分割质量(如IoU、F1分数)和时间一致性(如持续跟踪同一对象的能力)方面, consistently 优于先前的方法。此外,在下游任务中,如对象识别和视频动态预测,DSSA也展现出了更强的性能。这些结果充分表明,通过显式分离开和身份,DSSA能够学习到更鲁棒、更连贯的视频对象表示。论文的代码和预训练模型将在论文被接收后公开发布,这将为相关领域的研究者提供宝贵的资源。

展开要点与分析

文章情报

工程师进阶

要点

  • 现有槽注意力方法因单一槽向量同时编码外观和身份,导致槽交换问题。
  • DSSA分离局部状态和身份状态,分别处理每帧外观和跨帧对象身份。
  • 身份状态通过学习的循环转换更新,作为局部状态的时间滤波器。
  • CMA机制减弱弱匹配槽的更新,防止其吸收其他对象的令牌。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。