公正输出，偏误内在：高风险决策中LLM潜在偏见的因果效力与非对称性
指令调优语言模型在高风险决策中表现出行为公正性，但内部表示仍保留偏见关联。研究通过抵押贷款承销案例，发现模型输出无偏见，但内部层状表示放大了人口统计偏见。通过激活引导和跨层干预，注入关键层的抑制信息可导致近乎完全的决策逆转。这种潜在偏见是不对称的，且易受对抗性提示和微调影响。结论：仅基于输出的行为审计不足，需结合输出评估与表示分析的双层测试框架。
文章情报
要点
- 指令调优LLM在输出层面无偏见，但内部表示保留并放大偏见
- 激活引导实验显示，注入内部偏见可导致决策完全逆转
- 潜在偏见不对称：干预一个方向有效，反向效果甚微
- 研究提出双层测试框架：输出评估+表示分析，用于高风险AI治理
为什么重要
这条新闻值得关注，因为指令调优LLM在输出层面无偏见，但内部表示保留并放大偏见。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
一项由Jagdish Tripathy等人开展的研究揭示了指令调优语言模型在高风险决策中一个令人不安的现象：即使模型的输出看似公正无偏，其内部表示中仍然隐藏着深刻的偏见。该研究以抵押贷款承销为场景，使用仅在种族关联姓名上存在差异的匹配申请，发现这些模型在输出层面并未表现出明显的歧视行为，但通过分析模型各层的内部表示，研究者发现与种族相关的表征被保留并逐层放大。
研究者采用了激活引导技术和一种新颖的跨层干预方法，系统地探查了这些被抑制的内部表征是否具有因果效力。他们发现，当这些抑制信息被重新注入到关键神经网络层时，模型的决策发生了近乎完全的逆转——原本批准贷款的申请被拒绝，反之亦然。这一结果表明，尽管模型表面公平，其内部潜伏的偏见数据仍然具有因果效力，足以在适当条件下改变结果。
更值得关注的是，这种潜在偏见具有非对称性：通过引导激活向一个方向干预时，决策变化显著；而向相反方向干预时，效果甚微。此外，该偏见容易受到对抗性提示工程和参数高效微调的攻击，这意味着恶意行为者可能利用这些隐藏的偏见操纵模型输出。研究者据此得出结论，仅仅依靠输出层面的行为审计来评估AI系统的公平性是远远不够的，因为公平的输出可能掩盖可被利用的内部偏见。他们建议对于高风险决策场景，应采用双层次测试框架，即在输出评估之外增加对模型内部表征的分析，以更全面地保障AI治理中的公平性。该研究为AI治理提供了重要的实证支持和新的方法论方向。