大型語言模型無聲地糾正非裔美國人英語：透過啟用引導審計和減輕方言偏見
研究表明，大型語言模型（LLMs）系統性地將非裔美國人英語（AAE）改寫為標準美式英語（SAE），即使上下文是AAE。作者提出了一個端到端框架來審計和減輕這種偏見，包括條件方言組不變性（cDGI）和啟用引導技術。他們還發布了最大的真實AAE平行語料庫REAL-AAE。
非裔美國人英語（AAE）是一種有規則的方言，由超過3000萬人使用，但大型語言模型（LLMs）經常誤解並“糾正”它。一項來自arXiv的新研究（arXiv:2607.06845）表明，最先進的LLMs系統性地偏好標準美式英語（SAE）的續寫，即使前面的上下文是AAE，實際上是將AAE重寫為SAE。該研究測試了六種指令微調的LLMs，引數範圍從140億到700億，發現所有模型都表現出這種偏見。
為了審計這種偏見，研究人員引入了條件方言組不變性（cDGI），這是一種能夠隔離模型真實偏見與翻譯引入的偽影的方法。他們還進行了特徵級定位分析，找出哪些AAE標記最容易觸發偏見。結果發現，句法結構，尤其是否定一致（比如“ain't nobody”），是所有模型普遍的觸發因素。
為了減輕偏見，研究人員首次將啟用引導技術應用於方言偏見。這是一種無需訓練、測試時的方法，透過因果追蹤提取方言方向，並將其注入偏見的層中。啟用引導將偏見減少了5到20倍，同時保持了SAE的流暢性。相比之下，簡單的提示方法效果要差得多。
為了支援這項研究，團隊釋出了REAL-AAE，這是迄今為止最大的真實AAE平行語料庫。它包含來自自然推文的17,479個AAE/SAE/AAE_back三重對，比以前最大的真實AAE資源大2到6倍。該語料庫透過自動驗證（BERTScore F1=0.95）和三位AAE母語者的人工驗證（83.0%的語義一致性）得到了驗證。
這項研究揭示了LLMs中存在的方言偏見，並提供了一種有效的減輕方法，對促進AI系統的公平性和包容性具有重要意義。