利用自然語言自編碼器探究Qwen2.5-7B中潛在的哥倫比亞身份推斷
這項初步研究使用自然語言自編碼器（NLA）探測Qwen2.5-7B-Instruct模型在處理哥倫比亞西班牙語和英語提示時，是否在內部表徵哥倫比亞身份、社會經濟地位或刻板印象相關信息。研究採用30個提示（15對匹配的西班牙語-英語對），涵蓋顯性哥倫比亞線索、隱性哥倫比亞線索和中性對照，並報告描述性比率和定性證據，而非統計顯著效應。
大語言模型（LLM）能夠從細微的語言線索中推斷出用户的人口統計屬性，即使這些屬性並未被明確提及。一項最新的初步研究以Qwen2.5-7B-Instruct模型為對象，探索了它是否在處理哥倫比亞西班牙語和英語提示時，內部表徵了哥倫比亞身份、社會經濟地位或刻板印象相關信息。該研究利用了自然語言自編碼器（Natural Language Autoencoders, NLA）技術，這是一種前沿的可解釋性方法，可以將模型內部的高維激活向量轉化為人類可讀的自然語言文本。
研究團隊設計了一個包含30個提示的數據集，這些提示被組織成15對匹配的西班牙語-英語對，確保語言之間的語義等價。每個對包括一個西班牙語提示和一個對應的英語提示。這些提示被分為三類：顯性哥倫比亞線索（如直接提及哥倫比亞國家、城市或文化符號）、隱性哥倫比亞線索（如使用哥倫比亞特有的俚語、口音或文化參考，如“parcero”或提及咖啡種植園），以及中性對照（不包含任何哥倫比亞相關線索，例如通用對話）。研究人員通過NLA從模型第20層的殘差流激活中提取信息，並將每個提示的激活按位置分為四個四分位數進行分析，以捕捉不同位置的表示。
儘管該研究目前僅報告了描述性比率和定性證據，而非統計上顯著的效果，但其核心發現表明：模型在處理哥倫比亞西班牙語提示時，有時會在內部生成與哥倫比亞身份或刻板印象相關的表徵，而這些表徵在對應的英語提示中並不總是出現。這一發現暗示，模型可能對特定語言變體中的文化線索更為敏感。這項工作將激活級別的可解釋性方法與對未得到充分代表的西班牙語變體的偏見評估聯繫起來，為理解大語言模型如何處理文化身份和潛在偏見提供了新的視角。
該研究的作者包括Pablo Santiago Potes Velasco等六位研究人員，論文已被提交至arXiv（編號2607.21774）。這項工作不僅對理解LLM的內部工作機制有重要意義，也為評估和改進模型在多元文化背景下的公平性提供了工具。未來研究可以在此基礎上擴大數據集規模，並探索其他語言和文化背景下的類似現象，從而推動更公平、更包容的AI系統發展。