大型语言模型（LLM）在逻辑推理任务中常被诟病无法正确处理否定，但一项来自南加州大学（USC）的新研究揭示了令人惊讶的发现：这些模型内部其实拥有专门处理否定的组件，只是由于注意力层的“短路”行为才导致外部表现不佳。该论文题为《How Language Models Process Negation》，已被ICML 2026接收，研究团队通过机械论可解释性方法，深入分析了Mistral-7B和Llama-3.1-8B等开源模型的内部计算过程。
研究的第一项关键发现是，尽管这些模型在需要否定推理的问答中准确率较低，但其内部存在能正确识别否定的神经元和注意力头。通过一系列探针实验和激活扰动，研究者确认模型在中间层已经编码了正确的否定信息。那么为什么最终答案还是错误呢？问题出在后期注意力层。这些层会倾向于关注输入中的简单统计模式，而非真正的否定逻辑。当团队移除这些“干扰”注意力模块后，模型在否定问题上的准确率从约50%提升至80%以上，证明了这些模块是导致错误的主要根源。
接下来，研究者深入探究了模型究竟如何表示和处理否定。他们提出了两个假说：一是“抑制”机制，即某些注意力头会被否定词（如“不是”或“没有”）激活，并专注于被否定的短语，然后抑制与该短语相关的概念；二是“构建”机制，即模型直接构造一个整体表示整个否定短语的向量，例如将“不是气体”编码为一个偏向液体和固体的表示，而非简单的概念排除。通过一系列观测和因果干预实验，包括激活补丁、线性探针和注意力头消融，团队发现两种机制在模型中同时存在，但构建机制占据了主导地位。具体来说，构建机制贡献了约70%的效果，而抑制机制仅占30%。构建机制的存在表明，LLM的否定处理并非仅仅通过抑制已有概念实现，而是积极构建新的、综合的语义表示。
这项研究不仅深化了我们对LLM内部逻辑推理机制的理解，也为未来改进模型提供了切实可行的路径。例如，通过设计新的训练目标或架构改进来减少后期注意力层的干扰，或者通过引入专门的否定处理模块来增强构建机制，都有可能显著提升LLM在逻辑推理任务上的表现。此外，研究还揭示了LLM内部存在多种并行计算机制的复杂景观，这对于设计更透明、更可靠的AI系统具有重要启示。论文的代码、模型和数据已公开，可供研究者复现和进一步探索。