マルチモーダル音声モデルは顔で判断する？ – 認識精度に偏見を発見

大規模ニューラルモデルが言語タスクで高度な性能を示すにつれ、研究者は複数のデータモダリティを扱うマルチモーダルモデルの構築に注力しています。その一例が、音声認識モデルの視覚情報への拡張であり、ノイズ低減やマルチモーダル字幕生成に利用されています。単一モダリティでの性能とバイアス研究は進んでいますが、新たなモダリティがバイアスにどう影響するかは未解明でした。人間の認知では視覚情報がバイアスを生むことが知られているため、この問題は重要です。

そこで、アムステルダム大学などの研究チームは、マルチモーダル音声認識における初の系統的バイアス評価を実施。同一音声に異なる顔を組み合わせた動画を作成し、転写精度の変化を測定しました。評価にはmWhisper-FlamingoとGeminiモデルを使用し、自己申告の性別、民族、およびそれらの交差カテゴリに注目しました。

結果、モデル間で大きなサービス品質の差が確認されました。特に、性別と民族の交差グループ間で単語誤り率（WER）が最大4.05ポイントも変動。特定の顔の組み合わせでWERが顕著に上昇し、モデルが外見的特徴に基づく系統的バイアスを示すことが明らかになりました。

研究チームは、モダリティの追加が必ずしも性能向上につながらず、むしろ新たなバイアスを導入する危険性を指摘。開発者はマルチモーダルシステムの展開前に公平性を評価し、バイアス軽減策を講じるとともに、ユーザーにその限界を透明に伝えるべきだと提言しています。

本研究成果はプレプリントとしてarXivで公開（ID: 2605.30472）。論文タイトルは「Your Multimodal Speech Model Says I Have a Face for Radio」。著者はMaya K. Nachesa、Vlad Niculae、Vagrant Gautam（アムステルダム大学）。関連コードとデータも公開されており、今後の研究の基盤となることが期待されます。研究チームはさらに多様なモダリティ組み合わせでのバイアス調査を計画しています。