実環境における集団感情認識（Group Emotion Recognition, GER）は、プライバシー保護と精度の間のトレードオフにしばしば直面する。従来の手法は個人の表情や視線、音声といった個人レベルの手がかりに依存しており、個人の監視やプライバシー侵害のリスクを伴う。最近arXivに投稿された博士論文は、集団の音声・映像信号から集団感情を推測する非個人的アプローチを提案し、プライバシーを保護しながら効果的な感情認識を実現することを目指している。
この論文の核心的な革新は、個人特徴を入力として一切使用せず、集団の集合的行動情報を活用する点にある。研究では2つの相補的なフレームワークが提案されている。第一のフレームワークは、音声・映像融合のためのクロスアテンション・マルチモーダル・アーキテクチャであり、時間方向の情報集約のためにフレーム・アテンション・プーリング（Frames Attention Pooling, FAP）を組み合わせている。実世界の条件下でのロバスト性を高めるため、合成データ拡張を採用し、アブレーション研究を通じて各モジュールの有効性を検証した。実験により、このアーキテクチャが実際の集団感情認識シナリオで堅牢に機能することが示された。
第二のフレームワークは変分エンコーダ・マルチデコーダ（Variational Encoder Multi-Decoder, VE-MD）と呼ばれ、感情分類と構造表現予測（身体・顔の手がかりを含む）を同時に行うための共有潜在空間を学習する。このフレームワークでは、DETRベースのデコードとヒートマップベースのデコードという2つの戦略を探求し、これらの構造表現が集団および個人の設定で果たす役割を分析している。この設計により、個人の身元情報を直接使用せずに、集団内の構造的関係を理解することが可能となる。
論文の主な貢献は3点である。第一に、集団レベルの感情コンピューティングにおけるマルチモーダル性と構造的手がかりの役割を明らかにしたこと。第二に、プライバシー保護型マルチモーダル集団感情認識のための2つのアーキテクチャを導入したこと。第三に、個人特徴を入力データとして使用しなくても競争力のある性能が達成できることを示したことである。これらの成果は、プライバシーに配慮した集団感情分析に新たな道を開き、公共空間のモニタリングやスマート環境とのインタラクションなどへの応用が期待される。
本論文はAnderson Augusmaによる博士論文であり、2026年5月27日に提出された。コンピュータビジョンとパターン認識（cs.CV）および人工知能（cs.AI）の分野に属し、全文はarXivで公開されている。