近年來，大型神經網絡在語言任務上表現日益出色，研究人員開始構建能夠處理多種數據模態的多模態甚至全模態模型。例如，語音識別模型已擴展至音頻-視覺數據，用於噪聲抑制和多模態字幕生成。儘管單模態下的性能與偏見研究已相對充分，但新模態如何影響偏見尚不明確，而人類認知中視覺信息確實會引發偏見。
為了填補這一空白，來自阿姆斯特丹大學等機構的研究者提出了首個多模態語音識別的偏見評估框架。他們創建了包含不同面孔和相同音頻的視頻，測量模型在轉錄時的準確率變化。實驗涉及mWhisper-Flamingo和Gemini兩個多模態模型，重點關注自我報告的性別、種族及其交叉類別。
結果發現了顯著的質量服務差異：模型在轉錄不同羣體語音時，詞錯誤率（WER）波動最高達4.05個百分點。例如，某些面孔組合下的WER明顯高於其他組合，且這類差異在性別與種族交叉分析中更為突出。這表明，模型並非“一視同仁”，而是對特定外貌特徵產生了系統性偏差。
研究團隊強調，這一發現對開發者具有重要意義。增加數據模態並非總是提升性能的銀彈，反而可能引入新的偏見來源。因此，在多模態系統部署前，需全面評估其公平性，並採取緩解措施。同時，向用户透明地溝通這些限制也至關重要。
該研究以預印本形式發佈於arXiv，題為“Your Multimodal Speech Model Says I Have a Face for Radio”，論文編號2605.30472。相關代碼和數據已公開，供後續研究參考。研究者來自阿姆斯特丹大學，包括Maya K. Nachesa、Vlad Niculae和Vagrant Gautam。他們計劃進一步擴大研究範圍，探索更多模態組合下的偏見模式。