FairLens：為高風險決策中的視覺語言模型設立公平性基準
研究人員提出 FAIRLENS，一個用於評估視覺語言模型（VLM）在招聘、法律和醫療等高風險領域公平性與有效性的基準框架。通過將覆蓋性別、種族和年齡的真實人臉圖像與封閉式和開放式問題配對，論文發現這些模型的主要問題並非羣體間不平等對待，而是基於面部外觀進行無根據推斷。表現最弱的模型在 99% 無法由圖像回答的問題上仍給出推斷。單純衡量差異率會忽略這些風險，且自由文本生成中的偏差與多選題準確率關聯較弱。論文認為，公平的高風險 VLM 行為需要羣體間一致對待，並拒絕從外表推斷高風險屬性。
隨着視覺語言模型（VLM）越來越多地依據圖像輸入作出招聘、法律和醫療評估，研究者對其在高風險場景中的公平性和可靠性提出了新的評測框架。由 Vahid Reza Khazaie 等三位作者於 2026 年 9 月 1 日提交至 arXiv 的論文 FAIRLENS，旨在同時衡量 VLM 在高風險任務中的公平性和有效性，論文編號為 2609.01691。
FAIRLENS 將覆蓋不同性別、種族和年齡的真實人臉圖像與封閉式及開放式問題配對，為每個被測模型提供超過 10 萬個圖像-問題對，覆蓋招聘、法律和醫療三個領域。評測採用四個相互補充的視角：不利結果發生率的人口統計學均等性、回答的可靠性、針對無證據支持的角色與狀態的人口統計學關聯，以及自由文本生成中的偏差。其中可靠性是核心有效性標準：只有當模型嚴格按照問題中給出的證據回答，並在圖像證據不足時選擇棄權，才被視為可靠。
作者對八個視覺語言模型進行了評測，發現主要問題並非模型對不同人口羣體施加顯著不平等的結果，而是普遍進行無根據推斷。模型經常從一張人臉推測出資格、威脅、疾病或職業角色，而不是承認信息不足。最弱的模型在輸入圖像無法支撐答案的問題中，有 99% 仍然給出推斷。這類失敗在法律和醫療場景中最為嚴重，而恰恰在這些場景中，識別證據不足最為關鍵。
論文同時提醒，僅看差異率等均衡性指標會掩蓋這些風險。羣體間差異率的絕對值可能很小，但在基線不利率很低時，微小的絕對差距可能意味着某個人口羣體收到不利標籤的概率是另一個羣體的數倍；反過來，小幅差距也可能對應一個對所有羣體都不安全的模型。此外，自由文本回復中的偏差與多項選擇準確率之間僅有較弱的關聯，因此模型能夠給出正確的結構化答案並不代表其生成是安全的。
作者認為，公平且可靠的高風險 VLM 行為既需要在不同人口羣體之間保持一致的對待方式，也需要在無法基於外表判斷時拒絕推斷高風險屬性。FAIRLENS 的問題集可以遷移到任何帶有人口統計學註釋的人臉數據集，論文還提供代碼和基準資源。