词汇性在大语言模型中的持久影响

Hammad Rizwan等六位研究人员在2026年6月1日向arXiv提交的论文《On the Persistent Effects of Lexicality in Large Language Mod》中，深入探讨了大语言模型（LLM）中词汇重叠对模型表征的影响机制。研究指出，当前LLM的表征结构往往受到词汇重叠的显著影响，而非完全基于语义内容。为了定量评估这种影响，作者们设计了多种对抗性语义压力测试，例如通过构建语义相似但词汇重叠低的句子对，以及词汇重叠高但语义无关的句子对，来迫使模型暴露其词汇偏倚。同时，研究还引入了信息论中的互信息概念，从理论层面分析词汇和语义信息在模型各层中的分布。

实验结果显示，词汇影响并非局限于某些浅层，而是贯穿模型的全部深度层，从嵌入层到顶层均表现出类似的模式。更重要的是，这种一致性在不同模型架构（如GPT、BERT、LLaMA）、不同训练策略（包括自监督学习和指令微调）以及不同目标函数（如对比学习、掩码语言建模）中普遍存在，甚至那些专门针对语义相似性训练的模型也无法避免。一个关键的发现是，在模型的中间层次存在一个“过渡区域”，其中词汇和语义信号同时衰减，导致模型在该区域对表面形式和深层含义都缺乏有效的表征能力。这一区域的存在揭示了模型在处理语言时的一种固有折衷。

研究进一步以摘要生成和模型编辑作为下游任务的实例，验证了词汇影响的传播效应。在摘要生成任务中，词汇重叠导致模型倾向于生成包含相同词汇的摘要，而非捕捉核心语义；在模型编辑任务中，词汇干扰降低了编辑操作的准确性和一致性。这些结果表明，即使是最先进的LLM，其词汇浅层模式也难以完全消除，从而对依赖深层语义理解的应用构成挑战。

该研究的理论意义在于：其一，为LLM表征的词汇偏倚提供了系统的量化框架；其二，明确了信息论视角下的语义与词汇信息分离；其三，指出了模型设计改进的方向，例如通过增加对抗性训练或引入更丰富的语义监督信号来缓解词汇影响。实践上，该发现可能影响模型选型时的评估标准、推理成本的考量以及产品能力的提升。

论文已被ArXiv收录（编号2606.02750），并将在后续会议中展示。这项研究对于大语言模型的开发者、研究人员以及所有利用LLM进行应用构建的从业者都具有重要的参考价值。