大規模ニューラルモデルが言語タスクで向上するにつれ、研究者はより多くのデータモダリティを扱うマルチモーダルおよびオムニモーダルモデルの構築を進めている。その一例が、雑音軽減やマルチモーダル字幕生成のための音声認識モデルの音響視覚データへの拡張である。しかし、単一モダリティ領域での性能とバイアスは広く研究されているものの、新しいモダリティがバイアスにどう影響するかは不明である。人間においてもこれらのモダリティがバイアスを生むにもかかわらず、である。
そこでMaya K. Nachesa、Vlad Niculae、Vagrant Gautamは論文「あなたのマルチモーダル音声モデルは私にラジオ向きの顔だと言う」で、マルチモーダル音声認識の初のバイアス評価を提案した。彼らは異なる顔を同じ音声とペアにしたビデオを作成し、音声転写精度の変化を測定した。この手法により、顔の視覚情報が転写結果に与える影響を分離し、モデルが話者の外見によって系統的な差異を示すかどうかを明らかにできる。
研究の結果、mWhisper-FlamingoとGeminiモデルでサービス品質に大きな差異があることが判明した。自己申告の性別、民族、およびその交差グループにおいて、ワードエラーレート（WER）が最大4.05ポイント上昇した。これは、一部のグループでは同じ音声条件下でも顔が異なるだけで、モデルが明らかに悪い転写結果を生み出すことを意味する。この差異は音声品質や言語内容に起因するものではなく、視覚モダリティが導入するバイアスに由来する。
著者らは、これらの知見が開発者にとって評価・修正・およびこのような限界の周知の優先事項を浮き彫りにすると指摘する。より多くのモダリティ信号を提供することが必ずしも良い結果をもたらすわけではなく、むしろバイアスのある結果につながる可能性がある。本研究は、マルチモーダルシステムの展開前に包括的なバイアス監査を実施し、透明性を確保して、さまざまな性別および民族グループのユーザー体験を保護するよう呼びかけている。
本論文はarXiv（2605.30472）に掲載され、計算と言語（cs.CL）分野に属し、2026年5月28日に提出された。研究チームは実験を通じてマルチモーダル音声認識における無視されてきたリスク次元を明らかにし、将来のモデル開発と評価に重要な警告を与えている。