大型语言模型无声地纠正非裔美国人英语：通过激活引导审计和减轻方言偏见
研究表明，大型语言模型（LLMs）系统性地将非裔美国人英语（AAE）改写为标准美式英语（SAE），即使上下文是AAE。作者提出了一个端到端框架来审计和减轻这种偏见，包括条件方言组不变性（cDGI）和激活引导技术。他们还发布了最大的真实AAE平行语料库REAL-AAE。
非裔美国人英语（AAE）是一种有规则的方言，由超过3000万人使用，但大型语言模型（LLMs）经常误解并“纠正”它。一项来自arXiv的新研究（arXiv:2607.06845）表明，最先进的LLMs系统性地偏好标准美式英语（SAE）的续写，即使前面的上下文是AAE，实际上是将AAE重写为SAE。该研究测试了六种指令微调的LLMs，参数范围从140亿到700亿，发现所有模型都表现出这种偏见。
为了审计这种偏见，研究人员引入了条件方言组不变性（cDGI），这是一种能够隔离模型真实偏见与翻译引入的伪影的方法。他们还进行了特征级定位分析，找出哪些AAE标记最容易触发偏见。结果发现，句法结构，尤其是否定一致（比如“ain't nobody”），是所有模型普遍的触发因素。
为了减轻偏见，研究人员首次将激活引导技术应用于方言偏见。这是一种无需训练、测试时的方法，通过因果追踪提取方言方向，并将其注入偏见的层中。激活引导将偏见减少了5到20倍，同时保持了SAE的流畅性。相比之下，简单的提示方法效果要差得多。
为了支持这项研究，团队发布了REAL-AAE，这是迄今为止最大的真实AAE平行语料库。它包含来自自然推文的17,479个AAE/SAE/AAE_back三重对，比以前最大的真实AAE资源大2到6倍。该语料库通过自动验证（BERTScore F1=0.95）和三位AAE母语者的人工验证（83.0%的语义一致性）得到了验证。
这项研究揭示了LLMs中存在的方言偏见，并提供了一种有效的减轻方法，对促进AI系统的公平性和包容性具有重要意义。