自然言語オートエンコーダを用いたQwen2.5-7Bにおける潜在的なコロンビア人アイデンティティ推論の調査
このパイロット研究では、自然言語オートエンコーダ（NLA）を使用して、Qwen2.5-7B-Instructがコロンビアのスペイン語と英語のプロンプトを処理する際に、コロンビア人のアイデンティティ、社会経済的地位、またはステレオタイプ関連情報を内部的に表現しているかどうかを調査します。30個のプロンプト（15組の一致したスペイン語-英語ペア）を用い、明示的コロンビア手がかり、暗黙的コロンビア手がかり、中立対照を含み、統計的に検出力のある効果ではなく記述率と質的証拠を報告します。
大規模言語モデル（LLM）は、明示的に述べられていない場合でも、微妙な言語的手がかりから人口統計的属性を推論する可能性があります。このパイロット研究では、Qwen2.5-7B-Instructモデルを対象に、自然言語オートエンコーダ（NLA）技術を用いて、コロンビアのスペイン語と英語のプロンプトを処理する際に、コロンビア人のアイデンティティ、社会経済的地位、またはステレオタイプに関連する情報を内部的に表現しているかどうかを調査しました。NLAは、モデルの内部活性化を自然言語に変換する手法であり、従来のプロービング手法と比較して、より直感的な解釈を可能にします。
研究チームは30個のプロンプトを設計し、15組の一致したスペイン語-英語ペアを構成しました。各ペアは同じ意味を持つが言語が異なるプロンプトから成り、言語間の比較を可能にします。これらのプロンプトは3つのカテゴリに分類されました：明示的なコロンビア手がかり（例えば「コロンビアの首都は？」など）、暗黙的なコロンビア手がかり（コロンビア特有のスラング「parcero」や文化的な言及を含む）、および中立対照（コロンビアとは無関係の一般的な話題）。NLAを介して、モデルの第20層からの残差ストリーム活性化を各プロンプトの位置に基づいて4つの四分位数に分けて分析しました。これにより、モデルがプロンプトのどの位置で関連する内部表現を形成しているかを調査できます。
この研究は統計的に検出力のある効果ではなく記述率と質的証拠を報告していますが、潜在的な国籍またはステレオタイプの表現がモデル出力で言語化される前に現れるかどうかに重点を置いています。予備的な結果では、コロンビアスペイン語のプロンプトに対して、モデルが内部でコロンビア人に関連する表現を活性化する場合がある一方、英語のプロンプトではそのような活性化が少ないことが示唆されました。このことは、モデルが言語と文化の関連性を学習している可能性を示しています。
この研究は、活性化レベルの解釈可能性と、過小評価されているスペイン語変種に対するバイアス評価を結びつけるものであり、大規模言語モデルが文化的アイデンティティをどのように扱うかを理解するための新しい視点を提供します。特に、コロンビアスペイン語のような多様な言語変種に対するモデルの振る舞いを評価する基盤を提供します。
この論文は、Pablo Santiago Potes Velasco氏を含む6人の研究者によって執筆され、arXiv（識別子：2607.21774）に2026年7月23日に提出されました。今後の研究では、データセットを拡大し、他の言語や文化背景における同様の現象を調査することで、より公平で包括的なAIシステムの開発に貢献することが期待されます。また、NLAのような解釈可能性手法が、モデルのバイアス検出と緩和において重要な役割を果たす可能性があります。