詞彙性在大語言模型中的持久影響

Hammad Rizwan等六位研究人員在2026年6月1日向arXiv提交的論文《On the Persistent Effects of Lexicality in Large Language Mod》中，深入探討了大語言模型（LLM）中詞彙重疊對模型表徵的影響機制。研究指出，當前LLM的表徵結構往往受到詞彙重疊的顯著影響，而非完全基於語義內容。為了定量評估這種影響，作者們設計了多種對抗性語義壓力測試，例如透過構建語義相似但詞彙重疊低的句子對，以及詞彙重疊高但語義無關的句子對，來迫使模型暴露其詞彙偏倚。同時，研究還引入了資訊理論中的互資訊概念，從理論層面分析詞彙和語義資訊在模型各層中的分佈。

實驗結果顯示，詞彙影響並非侷限於某些淺層，而是貫穿模型的全部深度層，從嵌入層到頂層均表現出類似的模式。更重要的是，這種一致性在不同模型架構（如GPT、BERT、LLaMA）、不同訓練策略（包括自監督學習和指令微調）以及不同目標函式（如對比學習、掩碼語言建模）中普遍存在，甚至那些專門針對語義相似性訓練的模型也無法避免。一個關鍵的發現是，在模型的中間層次存在一個“過渡區域”，其中詞彙和語義訊號同時衰減，導致模型在該區域對錶面形式和深層含義都缺乏有效的表徵能力。這一區域的存在揭示了模型在處理語言時的一種固有折衷。

研究進一步以摘要生成和模型編輯作為下游任務的例項，驗證了詞彙影響的傳播效應。在摘要生成任務中，詞彙重疊導致模型傾向於生成包含相同詞彙的摘要，而非捕捉核心語義；在模型編輯任務中，詞彙干擾降低了編輯操作的準確性和一致性。這些結果表明，即使是最先進的LLM，其詞彙淺層模式也難以完全消除，從而對依賴深層語義理解的應用構成挑戰。

該研究的理論意義在於：其一，為LLM表徵的詞彙偏倚提供了系統的量化框架；其二，明確了資訊理論視角下的語義與詞彙資訊分離；其三，指出了模型設計改進的方向，例如透過增加對抗性訓練或引入更豐富的語義監督訊號來緩解詞彙影響。實踐上，該發現可能影響模型選型時的評估標準、推理成本的考量以及產品能力的提升。

論文已被ArXiv收錄（編號2606.02750），並將在後續會議中展示。這項研究對於大語言模型的開發者、研究人員以及所有利用LLM進行應用構建的從業者都具有重要的參考價值。