大規模言語モデル（LLM）は論理的推論、特に否定の処理において苦手とされることが多い。しかし、南カリフォルニア大学（USC）の研究チームによる新たな研究は、これらのモデルの内部には否定を正確に処理する機構が存在することを明らかにした。論文「How Language Models Process Negation」はICML 2026に採択され、研究チームはMistral-7BおよびLlama-3.1-8Bというオープンウェイトモデルに対して、機械論的解釈可能性手法を適用し、その内部動作を詳細に分析した。
研究の第一の発見は、モデルが否定関連の質問に対して頻繁に誤答するにもかかわらず、内部には否定を正しく検出するニューロンとアテンションヘッドが存在するという点である。プローブ実験と活性化摂動により、モデルの中間層ではすでに正しい否定情報がエンコードされていることが確認された。では、なぜ最終的な答えが間違うのか？その原因は後期アテンション層にある。これらの層は、真の否定論理ではなく、入力中の単純な統計パターンに焦点を当てる傾向がある。研究チームがこれらの「干渉」アテンションモジュールを除去すると、否定問題におけるモデルの精度は約50％から80％以上に向上し、これらのモジュールが誤答の主因であることが証明された。
次に、研究者はモデルが否定をどのように表現し処理するかを詳しく調べた。二つの仮説が立てられた：一つは「抑制」メカニズムで、特定のアテンションヘッドが否定語によって活性化され、否定されるフレーズに注目し、関連概念を抑制するというもの。もう一つは「構成的」メカニズムで、モデルが否定フレーズ全体のベクトル表現を直接構築するというもの（例えば、「ガスではない」を液体や固体を促進するベクトルとして表現）。活性化パッチ、線形プローブ、アテンションヘッド除去などの観察的・因果的解釈可能性手法を用いた実験により、両方のメカニズムがモデル内に共存していることが示されたが、構成的メカニズムが支配的であり、全体の効果の約70％を占めることが明らかになった。構成的メカニズムの存在は、LLMの否定処理が単に既存の概念を抑制するだけでなく、新しい統合的な意味表現を積極的に構築することを示している。
この研究は、LLMの内部論理推論メカニズムの理解を深めるだけでなく、モデル改善のための実践的な道筋も提供する。例えば、後期アテンション層の干渉を減らすための新しい訓練目標やアーキテクチャの改良、あるいは構成的メカニズムを強化するための専用モジュールの導入により、LLMの論理推論性能を大幅に向上させることが可能かもしれない。さらに、この研究はLLM内に複数の並列計算メカニズムが共存する複雑な状況を明らかにし、より透明で信頼性の高いAIシステムの設計に重要な示唆を与える。論文のコード、モデル、データは公開されており、研究者による再現とさらなる探求が可能である。