スマートな動画編集、監視、ヒューマンコンピュータインタラクションなどの実世界アプリケーションでは、話者を正確に追跡し、その周囲のシーンを理解することが重要な能力となります。音声視覚話者追跡は、聴覚と視覚の手がかりを融合してアクティブな話者を位置特定し追跡することで、きめ細かい人間中心のシーン理解を可能にします。しかし、既存のデータセットの多くは単純または均質な音声視覚シーンに限定され、注釈も粗いものでした。このような過度に単純化された設定では、評価が静的な音声視覚の共起関係に偏り、複雑で動的なシーンにおける堅牢な時空間モデリングやクロスモーダル推論を厳密に評価することができません。
これらの限界に対処するため、復旦大学の研究チーム（Yaoting Wangら）は、動的な実世界シーン向けに設計された人間中心の音声視覚インスタンスセグメンテーション（AVIS）データセットであるAVTrackを提案しました。AVTrackには、カメラの動き、視覚的遮蔽、位置変化など、多様で困難な条件が含まれており、複雑な環境下でのモデルの性能を包括的に評価することを目的としています。
研究チームがAVTrack上で代表的なAVIS手法を評価したところ、これらの手法の性能は大幅に低下することが明らかになりました。この結果は、AVTrackが複雑な環境における堅牢な人間中心の音声視覚シーン理解のための挑戦的なベンチマークであることを確立しています。さらに、著者らは将来の研究を促進するために、シンプルで効果的なベースラインを提供しています。この研究はICML 2026に採択されており、論文は19ページ、10枚の図を含み、プロジェクトのウェブサイトはhttps://FudanCVL.github.io/AVTrack/です。
AVTrackの登場は、複雑で動的なシーンの評価における既存ベンチマークのギャップを埋め、音声視覚追跡分野をより現実的なアプリケーションに近づけることが期待されます。より挑戦的なデータとベースラインを提供することで、このデータセットは研究者により強力なクロスモーダル時空間推論モデルの開発を促し、実環境におけるインテリジェントシステムの知覚と理解能力を向上させるでしょう。