FairLens：为高风险决策中的视觉语言模型设立公平性基准
研究人员提出 FAIRLENS，一个用于评估视觉语言模型（VLM）在招聘、法律和医疗等高风险领域公平性与有效性的基准框架。通过将覆盖性别、种族和年龄的真实人脸图像与封闭式和开放式问题配对，论文发现这些模型的主要问题并非群体间不平等对待，而是基于面部外观进行无根据推断。表现最弱的模型在 99% 无法由图像回答的问题上仍给出推断。单纯衡量差异率会忽略这些风险，且自由文本生成中的偏差与多选题准确率关联较弱。论文认为，公平的高风险 VLM 行为需要群体间一致对待，并拒绝从外表推断高风险属性。
随着视觉语言模型（VLM）越来越多地依据图像输入作出招聘、法律和医疗评估，研究者对其在高风险场景中的公平性和可靠性提出了新的评测框架。由 Vahid Reza Khazaie 等三位作者于 2026 年 9 月 1 日提交至 arXiv 的论文 FAIRLENS，旨在同时衡量 VLM 在高风险任务中的公平性和有效性，论文编号为 2609.01691。
FAIRLENS 将覆盖不同性别、种族和年龄的真实人脸图像与封闭式及开放式问题配对，为每个被测模型提供超过 10 万个图像-问题对，覆盖招聘、法律和医疗三个领域。评测采用四个相互补充的视角：不利结果发生率的人口统计学均等性、回答的可靠性、针对无证据支持的角色与状态的人口统计学关联，以及自由文本生成中的偏差。其中可靠性是核心有效性标准：只有当模型严格按照问题中给出的证据回答，并在图像证据不足时选择弃权，才被视为可靠。
作者对八个视觉语言模型进行了评测，发现主要问题并非模型对不同人口群体施加显著不平等的结果，而是普遍进行无根据推断。模型经常从一张人脸推测出资格、威胁、疾病或职业角色，而不是承认信息不足。最弱的模型在输入图像无法支撑答案的问题中，有 99% 仍然给出推断。这类失败在法律和医疗场景中最为严重，而恰恰在这些场景中，识别证据不足最为关键。
论文同时提醒，仅看差异率等均衡性指标会掩盖这些风险。群体间差异率的绝对值可能很小，但在基线不利率很低时，微小的绝对差距可能意味着某个人口群体收到不利标签的概率是另一个群体的数倍；反过来，小幅差距也可能对应一个对所有群体都不安全的模型。此外，自由文本回复中的偏差与多项选择准确率之间仅有较弱的关联，因此模型能够给出正确的结构化答案并不代表其生成是安全的。
作者认为，公平且可靠的高风险 VLM 行为既需要在不同人口群体之间保持一致的对待方式，也需要在无法基于外表判断时拒绝推断高风险属性。FAIRLENS 的问题集可以迁移到任何带有人口统计学注释的人脸数据集，论文还提供代码和基准资源。