利用自然语言自编码器探究Qwen2.5-7B中潜在的哥伦比亚身份推断
这项初步研究使用自然语言自编码器（NLA）探测Qwen2.5-7B-Instruct模型在处理哥伦比亚西班牙语和英语提示时，是否在内部表征哥伦比亚身份、社会经济地位或刻板印象相关信息。研究采用30个提示（15对匹配的西班牙语-英语对），涵盖显性哥伦比亚线索、隐性哥伦比亚线索和中性对照，并报告描述性比率和定性证据，而非统计显著效应。
大语言模型（LLM）能够从细微的语言线索中推断出用户的人口统计属性，即使这些属性并未被明确提及。一项最新的初步研究以Qwen2.5-7B-Instruct模型为对象，探索了它是否在处理哥伦比亚西班牙语和英语提示时，内部表征了哥伦比亚身份、社会经济地位或刻板印象相关信息。该研究利用了自然语言自编码器（Natural Language Autoencoders, NLA）技术，这是一种前沿的可解释性方法，可以将模型内部的高维激活向量转化为人类可读的自然语言文本。
研究团队设计了一个包含30个提示的数据集，这些提示被组织成15对匹配的西班牙语-英语对，确保语言之间的语义等价。每个对包括一个西班牙语提示和一个对应的英语提示。这些提示被分为三类：显性哥伦比亚线索（如直接提及哥伦比亚国家、城市或文化符号）、隐性哥伦比亚线索（如使用哥伦比亚特有的俚语、口音或文化参考，如“parcero”或提及咖啡种植园），以及中性对照（不包含任何哥伦比亚相关线索，例如通用对话）。研究人员通过NLA从模型第20层的残差流激活中提取信息，并将每个提示的激活按位置分为四个四分位数进行分析，以捕捉不同位置的表示。
尽管该研究目前仅报告了描述性比率和定性证据，而非统计上显著的效果，但其核心发现表明：模型在处理哥伦比亚西班牙语提示时，有时会在内部生成与哥伦比亚身份或刻板印象相关的表征，而这些表征在对应的英语提示中并不总是出现。这一发现暗示，模型可能对特定语言变体中的文化线索更为敏感。这项工作将激活级别的可解释性方法与对未得到充分代表的西班牙语变体的偏见评估联系起来，为理解大语言模型如何处理文化身份和潜在偏见提供了新的视角。
该研究的作者包括Pablo Santiago Potes Velasco等六位研究人员，论文已被提交至arXiv（编号2607.21774）。这项工作不仅对理解LLM的内部工作机制有重要意义，也为评估和改进模型在多元文化背景下的公平性提供了工具。未来研究可以在此基础上扩大数据集规模，并探索其他语言和文化背景下的类似现象，从而推动更公平、更包容的AI系统发展。