コンピュータビジョンの分野において、複雑なシーンでの行動認識は、しばしば複数の同時進行する細粒度行動を含むため、内部の行動構造のモデリングが困難です。既存の手法の多くは全体表現に依存しており、微妙な相互作用や細粒度の意味を捉えるには不十分です。最近のプロンプトベースの手法は分離を導入していますが、明示的な意味的ガイダンスが欠けており、視覚的または構造的手がかりのみに基づく手法は粗粒度のままです。
この課題に対して、テネシー大学などの研究チームは「知識誘導による原子アクションの分離（Knowledge-guided Disentanglement with Atomic Actions, KDA）」という新しい手法を提案しました。KDAは、大規模言語モデル（LLM）を利用して行動ラベルを原子アクションに分解し、各原子アクションに明確な時空間意味を付与します。例えば、「手を振る」「ジャンプする」といった基本動作が抽出され、モデルはビデオ内容をより細かく理解できるようになります。
KDAは2つの中核モジュールを備えています：知識注入モジュール（KIM）と知識分離モジュール（KDM）です。KIMは原子アクション知識をビデオ特徴に統合し、強化表現を生成します。次にKDMは、これらの原子アクション知識をさらに分離し、行動の分離プロセスを導くためのより精密な意味的ガイダンスを生成します。さらに、研究チームは知識分離損失関数（KD Loss）を導入し、KDM内での知識成分の明確な分離を促進することで、モデルの解釈可能性と性能を向上させました。
広範な実験により、KDAは特徴の識別性を向上させ、CharadesやMulti-Thumosなどの複数のマルチラベル行動認識ベンチマークで最先端の性能を達成することが示されました。また、KIMとKDMは既存の他の手法（TSMやI3Dなど）に容易に統合でき、高い汎用性を示しています。本研究成果はACM MM 2026で発表され、コードと実験設定が公開される予定です。
まとめると、KDAはLLMの意味知識とビデオ特徴学習を組み合わせることで、複雑シーンにおける細粒度行動認識に新たなアプローチを提供し、ビデオ理解技術の発展に寄与することが期待されます。