本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

デュアルステートスロットアテンション:外観と同一性を分離するビデオオブジェクト中心学習

記事の要約

既存のスロットベースの手法では、単一のスロットベクトルに外観と同一性をエンコードするため、スロットスワッピングが発生する。提案するデュアルステートスロットアテンション(DSSA)は、各スロットを局所状態(フレームごとの外観)と同一性状態(時間的に安定したオブジェクト情報)に分解し、競争変調集約(CMA)を用いて弱一致スロットの更新を抑制する。実験では、MOVi-C、MOVi-D、YouTube-VISにおいて、セグメンテーション品質と時間的一貫性が向上した。

ソースarXiv Computer Vision著者: Sieu Tran, Duc Nguyen, Hao Vo, Khoa Vo, Ngan Le
デュアルステートスロットアテンション:外観と同一性を分離するビデオオブジェクト中心学習
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

教師なしビデオオブジェクト中心学習は、動的シーンを教師なしで永続的なオブジェクトレベルの表現に分解することを目的としています。この技術は、映像理解やロボットインタラクションなどに重要です。しかし、既存のスロットベースの手法は、高速な動きや部分的な遮蔽などの困難な状況において、安定したオブジェクト同一性を維持するのが困難です。従来の手法では、フレームごとの外観情報とフレーム間の同一性情報を単一のスロットベクトルにエンコードしていたため、再構成目的と時間的一貫性目的の間に根本的な対立が生じます。再構成は外観の一時的な変化に敏感である必要があるのに対し、時間的一貫性はそれらの変化に対して不変であることを要求します。この対立が「スロットスワッピング」を引き起こし、異なるオブジェクトのスロットがフレーム間で入れ替わることで、表現の一貫性が損なわれます。さらに、スロットアテンションで使用されるトークン再正規化は、注意の弱いスロットを増幅し、それらが他のオブジェクトのトークンを吸収するのを許してしまい、スロットとオブジェクトの対応関係をさらに不安定にします。

これらの問題に対処するため、本論文ではデュアルステートスロットアテンション(DSSA)を提案します。これは完全に自己教師ありのフレームワークです。DSSAの核心は、各スロットを2つの独立した状態に分解することです:フレームごとの外観をエンコードする局所状態(local state)と、時間的に安定したオブジェクト同一性情報をエンコードする同一性状態(identity state)です。この分離により、再構成目的は局所状態で最適化され、時間的一貫性目的は同一性状態に焦点を当てることができ、目的の対立が回避されます。具体的には、同一性状態は学習されたリカレント遷移(recurrent transition)によって更新され、これが局所状態の時間フィルタとして機能し、情報を平滑化します。同時に、競争変調集約(CMA)メカニズムが導入され、弱くマッチするスロットからの更新を低減し、他のオブジェクトのトークンを吸収するのを防ぎます。これにより、スロットとオブジェクトの対応の安定性が向上します。

DSSAの有効性を検証するため、研究チームはMOVi-C、MOVi-D、YouTube-VISなどの複数のベンチマークデータセットで実験を行いました。実験結果は、DSSAがセグメンテーション品質(IoU、F1スコアなど)と時間的一貫性(同じオブジェクトを継続的に追跡する能力)において、既存手法を一貫して上回ることを示しています。さらに、オブジェクト認識やビデオ動的予測などの下流タスクでも、DSSAは優れた性能を発揮しました。これらの結果は、外観と同一性を明示的に分離することで、DSSAがよりロバストで一貫性のあるビデオオブジェクト表現を学習できることを示しています。論文のコードと事前学習モデルは、論文受理後に公開される予定であり、関連分野の研究者にとって貴重なリソースとなるでしょう。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • DSSAは外観と同一性を分離し、スロットスワッピング問題を解決。
  • 同一性状態は学習されたリカレント遷移により更新され、局所状態の時間フィルタとして機能。
  • CMA機構は弱一致スロットの更新を抑制し、他のオブジェクトのトークンを吸収するのを防止。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。