多模態語音模型存在面部偏見：研究發現外貌影響識別準確率
一項最新研究首次系統評估了多模態語音識別中的偏見問題。研究發現，當不同面孔與相同音訊配對時，模型的轉錄準確率出現顯著差異，尤其是涉及性別和種族交叉時，詞錯誤率最高可差4.05個百分點。這表明，增加模態並非一定提升效能，反而可能引入新的偏見。
近年來，大型神經網路在語言任務上表現日益出色，研究人員開始構建能夠處理多種資料模態的多模態甚至全模態模型。例如，語音識別模型已擴充套件至音訊-視覺資料，用於噪聲抑制和多模態字幕生成。儘管單模態下的效能與偏見研究已相對充分，但新模態如何影響偏見尚不明確，而人類認知中視覺資訊確實會引發偏見。
為了填補這一空白，來自阿姆斯特丹大學等機構的研究者提出了首個多模態語音識別的偏見評估框架。他們建立了包含不同面孔和相同音訊的影片，測量模型在轉錄時的準確率變化。實驗涉及mWhisper-Flamingo和Gemini兩個多模態模型，重點關注自我報告的性別、種族及其交叉類別。
結果發現了顯著的質量服務差異：模型在轉錄不同群體語音時，詞錯誤率（WER）波動最高達4.05個百分點。例如，某些面孔組合下的WER明顯高於其他組合，且這類差異在性別與種族交叉分析中更為突出。這表明，模型並非“一視同仁”，而是對特定外貌特徵產生了系統性偏差。
研究團隊強調，這一發現對開發者具有重要意義。增加資料模態並非總是提升效能的銀彈，反而可能引入新的偏見來源。因此，在多模態系統部署前，需全面評估其公平性，並採取緩解措施。同時，向使用者透明地溝通這些限制也至關重要。
該研究以預印本形式釋出於arXiv，題為“Your Multimodal Speech Model Says I Have a Face for Radio”，論文編號2605.30472。相關程式碼和資料已公開，供後續研究參考。研究者來自阿姆斯特丹大學，包括Maya K. Nachesa、Vlad Niculae和Vagrant Gautam。他們計劃進一步擴大研究範圍，探索更多模態組合下的偏見模式。