一项由Jagdish Tripathy等人开展的研究揭示了指令调优语言模型在高风险决策中一个令人不安的现象：即使模型的输出看似公正无偏，其内部表示中仍然隐藏着深刻的偏见。该研究以抵押贷款承销为场景，使用仅在种族关联姓名上存在差异的匹配申请，发现这些模型在输出层面并未表现出明显的歧视行为，但通过分析模型各层的内部表示，研究者发现与种族相关的表征被保留并逐层放大。
研究者采用了激活引导技术和一种新颖的跨层干预方法，系统地探查了这些被抑制的内部表征是否具有因果效力。他们发现，当这些抑制信息被重新注入到关键神经网络层时，模型的决策发生了近乎完全的逆转——原本批准贷款的申请被拒绝，反之亦然。这一结果表明，尽管模型表面公平，其内部潜伏的偏见数据仍然具有因果效力，足以在适当条件下改变结果。
更值得关注的是，这种潜在偏见具有非对称性：通过引导激活向一个方向干预时，决策变化显著；而向相反方向干预时，效果甚微。此外，该偏见容易受到对抗性提示工程和参数高效微调的攻击，这意味着恶意行为者可能利用这些隐藏的偏见操纵模型输出。研究者据此得出结论，仅仅依靠输出层面的行为审计来评估AI系统的公平性是远远不够的，因为公平的输出可能掩盖可被利用的内部偏见。他们建议对于高风险决策场景，应采用双层次测试框架，即在输出评估之外增加对模型内部表征的分析，以更全面地保障AI治理中的公平性。该研究为AI治理提供了重要的实证支持和新的方法论方向。