大規模言語モデルにおける語彙性の持続的影響について
本研究は、大規模言語モデルの表現における語彙的重複の影響を調査し、語彙効果が全ての層にわたって持続し、アーキテクチャや訓練方法に関わらず一貫していることを発見した。中間層では語彙と意味の信号が同時に劣化する領域が存在し、要約やモデル編集などの下流タスクにも影響を及ぼす。
大規模言語モデル（LLM）における語彙的重複の影響を調査した新しい研究が、2026年6月1日にarXivに提出された。Hammad Rizwanら6名の著者による論文「On the Persistent Effects of Lexicality in Large Language Mod」は、LLMが抽出する表現が意味内容ではなく語彙の重複に強く影響されることを体系的に示している。研究チームは、敵対的セマンティックストレステストを実施し、情報理論の観点から分析を行った。
その結果、語彙的影響はモデルのすべての層にわたって見られ、異なるアーキテクチャ（GPT、BERT、LLaMAなど）、訓練手法（自己教師あり学習、指示チューニング）、目的関数（対比学習、マスク言語モデリング）において一貫していることが明らかになった。特筆すべきは、モデルの中間層に「遷移領域」が存在し、そこでは語彙信号と意味信号が同時に劣化することである。この領域では、モデルは表面形式と意味の両方に対して貧弱な表現しか提供できない。
さらに、研究では要約生成とモデル編集をケーススタディとして、語彙的影響が下流タスクに波及することを実証した。要約生成では、語彙的重複によりモデルが本来の意味ではなく同一の語彙を含む出力を生成しやすくなる。モデル編集では、語彙的干渉が編集の正確性と一貫性を低下させることが示された。これらの発見は、最先端のLLMでさえ語彙の浅いパターンから完全に逃れられないことを示唆している。
この研究は、LLMの表現構造の理解に新たな視点を提供し、モデル設計や評価基準の改善に寄与する。具体的には、敵対的訓練や豊富な意味的監視信号の導入により語彙的影響を軽減できる可能性がある。論文はarXiv（ID: 2606.02750）で公開されており、今後の会議で発表される予定である。LLMの開発者、研究者、応用実務者にとって重要な知見を含む。