本論文は、部分ラベル付きマルチタスク顔表情認識のための新しい手法を提案する。実環境での顔表情は本質的にマルチタスクであり、価覚醒度、離散的表情、顔面行動単位が同じ顔を記述する。しかし、既存のコーパスではこれらのタスクのラベル付けは部分的で不均一であり、例えばs-Aff-Wild2データセットでは全ラベルを持つフレームはわずか37%である。従来の手法は欠損ラベルをマスクしたり疑似ラベルを用いたりするため、タスク間の有用な信号を無視していた。著者らは、このようなマスキングはクロスタスク情報を捨ててしまうと主張し、より効果的なアプローチを模索した。
著者らは、部分ラベル付きマルチタスク学習を共有感情潜在変数への周辺化として捉える。具体的には、変分ボトルネックを導入し、これを3つのタスクデコーダ（価覚醒度、離散的表情、行動単位）の中間表現として機能させる。これにより、あるタスクでアノテーションされたフレームが共有潜在変数を介して他のタスクの表現を形成する。マスクされた目的関数は、証拠下限（ELBO）の再構成項として再現される。この枠組みにより、ラベルの欠損を明示的に補完することなく、部分的なラベルからでも全タスクに利益をもたらす学習が可能になる。
s-Aff-Wild2データセットでの実験では、単一のバックボーンを用いた場合、提案手法は表情認識のマクロF1スコアを専用モデルの0.403から0.446に向上させた。これはマスク損失モデルでは達成できない。さらに、2つ目のほぼ同等のバックボーンを導入し、その誤差を無相関化することで、外部の行動単位データでも突破できなかった行動単位の上限を打破した。一方、価覚醒度の性能はノイズ範囲内に留まった。すべての改善はマッチングされた対照実験で検証され、希少クラスの失敗は損失関数の形状ではなく表現力の問題であることを示している。これらの対照実験は、論文の厳密性を示す重要な要素であり、結果が偶然ではないことを保証している。
各タスクのデータソースは評価分割に基づいて選択されるため、著者らはバリデーションセットでの総合マルチタスクスコア1.679をサンプル内の端点として報告し、結論は主に対照比較に基づいている。また、AffectNetおよびRAF-DBデータセットへの表情認識の利点の小規模かつ条件依存的な転移を示しているが、これは探索的結果であり結論的ではないとしている。この研究は、部分ラベルを活用するマルチタスク学習の新たな視点を提供し、今後の感情認識研究に影響を与える可能性がある。
（注：本記事はarXivプレプリント2607.16285に基づいており、著者はHong Hai Nguyenら、2026年7月11日投稿。）